Mesh、坐标、接触、USD、机器人与传感器。保留浏览器、Python 和仿真实操。
懂技术,
也能说清交付。
用一周跑通最小学习闭环:读懂资产、验证物理与控制、检查数据,最后把证据变成可验收的试点草案。
先检查轨迹质量,再理解模仿学习、RL 与执行纠错;区分训练和评估证据。
谁使用、交付什么、如何验收、成本多少;未知能力保留待验证状态。
新版资料,怎样进入课程?
补充 Newton 与渲染基础、Isaac Lab Arena、三家竞品、MHS 和 Microduck;Astra 索引追到原始方法页。MoveIt 与 SmolVLA 保留为选读。逐项查看阅读范围、练习与验收 →
| 原先的侧重 | 新版安排 | 原因 |
|---|---|---|
| 先学工具与几何 | Day 1 同时定义资产消费者与验收 | 把概念接到交付结果 |
| 跑通数据生成 | Day 4 增加时序对齐、拒收规则和成本口径 | 产量与可用量要分开 |
| Day 5 较重的 RL 训练 | Day 5 先学模仿学习与评测;Day 6 保留 Isaac Lab 加练 | 先把输入、基线与评测学扎实 |
| 最后提交实验报告 | 每天积累五份材料,Day 7 汇成试点草案 | 技术证据要支持产品决策 |
一周做入门和最小验证。多种子训练、双臂复杂接触与客户试点放入后续深化,不通过增加每日负担来假装完成八周内容。
每天一个实验,
每天补一份证据。
更新:2026-09-21。目标是在入职前用约 21 小时建立技术与产品讨论的共同语言,并验证一个最小工作流。新版指南扩大了物理、渲染、竞品和前沿覆盖;一周只完成入门和第一次验证,不能替代完整训练、客户验证与交付经验。
每天固定 3 小时:讲解 45 分钟、指定阅读 20 分钟、一个主实验 75 分钟、整理与口述 40 分钟。GPU 加练替换主实验或延后,不与主实验叠加;不要在一周内安装所有工具。环境准备最多 45 分钟,超时保留日志继续 CPU 路线。
课程与源文件存放在云端。基础 Python 实验可在 GitHub Codespaces 执行;GPU 任务使用获授权的服务器。课程阅读不依赖某台个人电脑。软件版本、随机种子、资产版本和原始记录随实验保存。
上线状态:Day 1 完整课程与实验包已上线;Day 2–7 为改进后的课程设计,完整课件与实验程序尚待制作。五份工作模板已可下载。
新版阅读怎样安排
逐项参考资料与实操导读 ↗ 已列出原链接、实际读到的章节、练习与验收。每天 20 分钟阅读只选本日主线,其余是按需查阅;新增练习替换原复述或实验整理时间。MoveIt、SmolVLA 从主线移为选读;微信综述正文待补,YC 视频未读,ORCA 只读到产品页。
学习主线:用一个案例串起交付
从“单物体坐标检查 → 单臂抓放 → 双臂协作取放薄板”逐步增加难度。薄板是教学案例;第一课的 40 mm 方块不是 PCB 物理模型。双臂协调、薄板形变、精密接触和真机效果均是后续待验证项,不预设首个商业化客户场景。
每一天同时回答技术和产品两个问题:系统为什么这样工作?这一环节交付给谁、凭什么验收?引擎 SDK、环境 / 数据服务、模型交付可以有不同买方、输入和责任,模块划分不自动决定收费产品。
Day 1 · 平台工作流、几何、成像与资产验收已上线
- 问题: 看起来正确的模型,为什么还不能承诺能用?资产、仿真环境、轨迹数据和策略模型分别交付什么?
- 讲解: 先画基础仿真、任务 / 数据、模型使用三层工作流,再理解 Mesh、坐标、场景图、碰撞、相机;引入 USD 的 Stage、Prim、Layer 和 Reference。USD 能组织与组合场景,导入成功仍需检查尺度、碰撞与运行行为。
- 主实验(75 分钟): 20 分钟完成三个浏览器任务;40 分钟修复 Python 配置并保存四份正反例报告;15 分钟填写资产与任务契约的第一版。已有 Blender 者可用模型检查替换文件整理时间。
- 验收: 世界坐标、单位和参考系明确;四份报告分别显示预期失败与通过;契约列出输入资产、目标消费者、输出、未验证项,并说明静态检查不能证明抓取成功。
- 指定阅读: EmbodiChain 场景教程 ↗;OpenUSD Introduction ↗。只找场景如何组织和资产如何引用。
- 新版落实: 用 15 分钟针孔投影与 Real2Sim 练习替换原概念复述:预测焦距和距离的影响,分开外观、几何、动力学与任务验收。阅读以 Scratchapixel 虚拟相机和 OpenUSD 为主;EmbodiChain 源码定位按需查阅。新增内容已在第一课上线。
- 累计产物: 任务与数据契约 v0.1、能力台账前三行。不要把教学程序通过写成生产引擎验证。
Day 2 · 物理与接触、Newton 支持边界:把“仿真不准”变成实验课程设计 · 待制作
- 问题: 物体滑落来自摩擦、尺度、步长还是控制?高画质为什么不能代替接触精度?
- 讲解: 刚体、惯量、摩擦、接触、积分步长、观测与动作;用 ManiSkill 的概念阅读理解任务环境的组织,不增加第二套安装要求。
- 主实验(75 分钟,MuJoCo CPU): 同一方块先落下,再以固定初速度滑动。改变摩擦做两组对照;随后只把步长减半,固定总模拟时长,记录高度、位移、运行时间和异常。核对两接触表面的有效参数规则。
- 验收: 保存场景、版本与 CSV;每组只改一个变量,解释观测是否支持假设。把穿透、抖动或未停止记录为结果,不能删去难看的运行。
- 指定阅读: MuJoCo Overview ↗;ManiSkill Concepts ↗。
- 新版落实: 阅读 MuJoCo 模型/状态与 Newton 求解器矩阵,给刚体、线缆、颗粒写三行支持范围。用原实验的最后 10 分钟核对后端、步长、初始状态和动作单位;ManiSkill 控制/观测/复现作为解释材料。MotrixSim 的同 MJCF 对照为后续加练,不必首周安装。
- 累计产物: 实验卡 v0.1、接触相关的支持范围与未验证项。关心物理质量是否满足当前任务,而非泛称“高保真”。
Day 3 · 机器人与约束:Isaac Sim 接到任务契约课程设计 · 待制作
- 问题: 关节目标、末端目标、路径规划和实际执行分别由谁负责?单臂示例为什么不能直接证明双臂可用?
- 讲解: 关节、控制误差、机器人资产、固定 / 随动相机;借 MoveIt Planning Scene 区分碰撞查询、约束检查与动力学。允许碰撞的配置不等于接触过程合理。
- GPU 主实验(75 分钟): 在锁定版本的 Isaac Sim 基础机器人示例中,给一个关节两个目标值,记录目标与实际角;比较固定相机与末端相机;给下一阶段的双臂薄板任务写出互碰、夹持姿态和同步要求,不在本日强行实现完整双臂任务。
- CPU 替代: 在 MuJoCo 简单关节模型完成相同的目标 / 实际角对照,再做约束走读。Isaac 操作和双臂执行仍标为待补。
- 验收: 关节配置、误差曲线、动作接口卡和约束清单齐全;任务成功标准写成可测条件,阈值标明是教学设定还是实际要求。
- 指定阅读: Isaac Sim 教程入口 ↗;选读 MoveIt Planning Scene ↗。首周无需安装完整 ROS / MoveIt 系统。
- 新版落实: 从 MHS 的设备描述与编排读起,用 15 分钟接口故障走读替换部分约束讨论:两设备交接中注入“忙碌、超时、重复请求”。要求命令有前置状态、单位、范围、完成判据与故障退出。MHS 处于研究预览,此处是教学模拟接口,不是协议实现或真机控制。MoveIt 保留为选读。
- 累计产物: 任务契约 v0.2,包含重置、动作单位、时间戳、成功 / 失败与责任边界。
Day 4 · 资产生产、随机化与数据质检课程设计 · 待制作
- 问题: 生成了一万张图或一千段轨迹,究竟有多少可用?感知图像与控制轨迹是否使用同一验收?
- 讲解: 资产来源与版本、可控随机化、标注与质检;区分 Replicator 的感知数据生成和机器人动作轨迹。阅读 LeRobotDataset v3 的状态 / 动作、视频、元数据组织,按 episode 元数据定位片段,不假设一个文件就是一段轨迹。
- 主实验(75 分钟): 选择可访问的公开小样本,记录数据集版本;检查至少三段 episode 的时间顺序、动作维度、单位、缺帧与终止语义。再复制一段教学样本,注入一个时间错位或缺字段错误,验证质检能发现。不能获取样本时用明确标记的合成样本演练,不记成真实数据验证。
- GPU 替代 / 后续加练: 用 EmbodiChain 官方流程先生成三个 episode 验证链路,只改变一种随机化因素;Replicator 图像 / 标签实验单独报告,不混入动作轨迹数量。
- 验收: 原始数量、合格数量、拒收原因、质检规则和样本血缘可追踪;合成错误能被定位;演示成功、数据合格、任务成功三种结果分开记录。
- 指定阅读: LeRobotDataset v3 ↗;Isaac Sim 6.0 Replicator ↗。EmbodiChain 数据生成章节作为按需查阅。
- 新版落实: 主线读 LeRobotDataset 与 Replicator 捕获/写盘章节。GPU 路线只生成十帧并逐帧核对 RGB/标签/状态,再比较固定场景的 RTX 模式;无 GPU 用教学帧表检查错位。将三层记录分开:物理时间、采集时间、写入完成;资料页的 RTX 支持表按需查阅。
- 累计产物: 数据契约 v0.3、质检小报告;开始统计有效轨迹率与单位可用数据成本。
Day 5 · 数据怎样成为策略:基线与 Arena 评测课程设计 · 待制作
- 问题: 观测与动作如何进入模型?离线误差下降为什么不一定意味着闭环任务更好?
- 讲解: 模仿学习、观测历史、动作表示、数据切分、闭环评估;用 SmolVLA 理解 VLA 的输入输出和数据准备,不要求首周复现基础模型。在线流式读取数据本身不会更新模型权重。
- 主实验(75 分钟,CPU): 用明确标记的简化状态—动作样本,按整段 episode 划分训练 / 测试集,比较固定动作基线与一个轻量预测器。记录测试误差,再在可运行的简化环境中观察闭环差异;无闭环条件时只报告离线结果。
- GPU 替代: 按锁定版本的 LeRobot 官方流程读取一批真实样本、检查模型输入 / 输出,并运行短预算训练或已有 checkpoint 的独立评估。SmolVLA 全量微调留到扩展阶段。
- 验收: 数据与模型版本、划分规则、基线、误差和闭环结果分别可查;相邻帧不能跨训练 / 测试集造成泄漏;未运行的评估明确留空。
- 指定阅读: LeRobot 模仿学习 ↗;选读 SmolVLA ↗。
- 新版落实: 主线读 LeRobot 采集到评估流程及 Arena 的可控变化。用 15 分钟设计 2 光照 × 2 相机偏移 × 3 种子的评估矩阵,标出构建时与重置时变化;不要求首周安装 Arena。CPU 简化状态环境没有相机时,这 12 格只交评估设计,不能伪造视觉评估结果。SmolVLA 留作 VLA 选读。
- 累计产物: 实验卡 v0.2,写清交付数据、训练环境或模型时各自承担的验收责任。
Day 6 · RL、执行纠错与“无真机”的证据课程设计 · 待制作
- 问题: 修改奖励、训练策略与推理时重试有什么区别?“无真机”省掉了哪个阶段的真机使用?
- 讲解: Isaac Lab 的观测 / 动作 / 奖励 / 终止、训练与评估;把 Reward AI、Astra 等路线放入“数据来源 → 是否更新参数 → 运行反馈 → 评估地点”的表中,逐项判断证据。外部系统的表现不证明本平台具有同等能力。
- CPU 主实验(75 分钟): 在相同十个初始条件上比较固定脚本和“检测失败后重试一次”的规则。记录成功数、重试数、总步数与人工介入。该练习解释执行纠错,不宣称复现 Astra,也不称作后训练。
- GPU 替代: 选 Isaac Lab 官方小任务,完成随机策略基线与固定预算的短训练。单种子只作为流程验证;奖励权重、多种子与等预算比较移到扩展阶段。保留 Isaac Lab 实操,但不把多组完整 RL 训练塞进首周必修。
- 验收: 三个问题逐项回答:预训练是否用了真机数据?适配阶段是否用了真机交互?最终评估是否在真机上完成?未知就写未知;闭源系统不写成已复现。
- 指定阅读: Isaac Lab Core Concepts ↗;前沿二选一:Reward AI OM-1 ↗ / Astra 评测报告 ↗。
- 新版落实: 从 Astra 汇编只选一个能追到原始方法的案例,填“模型做什么、底层控制做什么、是否用理想抓持、是否训练、是否真机”。拼图方法页已明确区分运动学回放和原生动力学,并披露完整重跑的缺口;因此不能写作通用在线策略已复现。Reward AI 保留原证据分析。
- 累计产物: 能力台账 v0.2,将发布版验证、演示 / 实验、研发中、规划、未知分开。前沿材料保留出处与证据缺口。
Day 7 · 从技术实验到可验收的试点课程设计 · 待制作
- 问题: 谁使用、谁选型、谁付费?客户到底需要 SDK、环境、数据还是模型?
- 主实验(75 分钟): 用本周实际跑过的案例冻结一个交付范围;选最有依据的一个改进与基线,在独立测试条件上验证。计算可用数据成本,写清客户输入、输出、验收、支持、变更与退出条件。沿用已跑通的 CPU 任务也可以,不追求临时补齐 GPU 链路。
- 客户证据: 整理已有、获授权的沟通记录;准备五个围绕最近一次真实工作的访谈问题。没有真实访谈就填“待验证”,不能把教学假设包装成需求证据。本课程不自动联系任何人。
- 验收: 五份工作材料相互引用:能力台账、客户证据表、任务与数据契约、实验卡、试点方案。用 10 分钟说明客户问题、技术证据、成本、未验证风险与下一步最小实验。
- 指定阅读: 客户访谈主题可从 YC Startup School ↗ 选读;用量计费思路参考 Stripe Usage-based Billing ↗。阅读不是本平台收费方式或客户购买意愿的证据。
- 新版落实: 用 20 分钟对照 MotrixSim SDK、ORCA 开发者产品、Lightwheel 数据/环境平台的交付边界;从本周材料中复用内容,不能只列功能勾选。Microduck 作为教育/消费产品封装选读。主实验最后 15 分钟用量事件去重:A=10、A重复=10、B拒收=5、C=8,原始33、去重23、合格18;结果填进试点报价口径,不连接真实账单。
- 累计产物: 一个可讨论的试点草案;无客户输入时是教学草案,不能标为已验证商业方案。
每天追加的六个指标
先在模板中定义口径和观察窗口,再比较结果:从明确输入到首次通过验收的时长;通过验收的任务数 / 投入人时;符合契约的轨迹数 / 生成轨迹数;全链路成本 / 可用轨迹数;固定质量门槛下首次达标的训练时间;发生人工介入的 episode 数 / 总 episode 数。
教学算例:生成 100 段、60 段通过契约检查,算力 200、资产处理 100、质检返工 200、存储传输与支持 100,单位均为教学货币。总成本 600,原始每段成本 6,真正可用每段成本 10,有效轨迹率 60%。若无合格数据,单位可用成本应记“不可计算”,不能填 0;未达到质量门槛的训练记录“未达标 + 已用时间”。
一周之后:回到完整的八周路线
- 第 2 周: 补齐物理、渲染和传感器的实测,建立 CPU / GPU 基线。
- 第 3–4 周: 深入 USD 资产流程、机器人接入、接触与双臂约束;从单臂案例逐步验证到协作任务。
- 第 5 周: 跑通 EmbodiChain 数据生成、传输、质检与下游读取,核算可用数据成本。
- 第 6 周: 做等预算模仿学习 / RL 对照、多个种子与独立测试;再评估前沿路线迁移价值。
- 第 7–8 周: 用真实客户沟通修订产品边界和计量方式,完成试点评审与交付验证。
五份材料,持续迭代。
能力台账 → 客户证据 → 任务与数据契约 → 实验卡 → 试点方案。每一项结论都能回到版本、配置与原始记录。
下载课程工作包 ↓逐份阅读模板与指标口径