SO-101
课程总览/训练记录
EN
TRAINING LOGSO-101

我把一件事教给了机械臂:一次抓取训练的记录

2026-11-11 · 设备:SO101 主臂 + 从臂,顶部和腕部各一个相机 · 任务:把桌上的插头抓起来,放进盒子里 · 状态:训练已完成(10 万步)

先看效果:30k checkpoint 的实机推理#

上面是完整 24 秒的推理过程(转成动图,无声)。这是模型训练到 3 万步时保存的那个 checkpoint,直接加载到真机上跑出来的效果——没有任何遥控,机械臂自己看到桌上的插头,伸手抓起来,放进盒子。

完整视频:00-inference-30k.mp4(1080p,24 秒)

一、先让机械臂"跟着我做"#

机械臂不会自己想事情,它只能从"人在类似情况下怎么动"里学。所以第一步,我得先当那个"人"。

先把主臂和从臂连上,试了试——我动主臂,从臂跟着动。这种感觉挺奇妙的,就像牵着一根看不见的线。确认跟手之后,进数据采集页,给这次的数据集起了个名字,把顶部和腕部两个相机都打开:一个看全局,知道插头和盒子在哪;一个看夹爪,知道抓得准不准。

然后就是一遍一遍地重复:

把插头摆到桌上某个位置 → 用主臂带从臂过去 → 对准 → 夹住 → 抬起来 → 移到盒子上方 → 松开 → 收回。

一条录完按停止,换个位置,再来一遍。位置我故意摆得很散,左边、右边、靠前、靠后、斜着放,甚至贴着盒子边。因为机械臂学的是"这个局面该怎么办",它见过的局面越多,将来遇到新位置就越不容易懵。

这是最枯燥的一步,也是最要紧的一步。五十条,每条二十多秒,听着不多,实际是弯着腰、盯着两块屏幕、一趟一趟摆东西,前后弄了半个多小时。手还得稳——图快抖着录进去的东西,后面模型也会抖着学出来。

数据采集页

中间出过一个小状况:录到一半,两个相机的画面先后断了。日志窗口里能看到"相机已断开",过一会儿又"连接中"。这种断连的那几秒是黑屏或者干脆没帧,那一条数据基本就废了。所以采集的时候我一直把日志开在旁边瞟着,别让笔记本靠近 USB 线,也别让它自己睡过去。

二、录完先"体检"#

录完不等于能用。数据质检这个页面干的事很朴素:把每一段挨个过一遍——视频有没有掉帧、画面是不是糊的、有没有重复帧,动作和关节角度对不对得上,各种时间戳有没有对齐。

体检结果有点吓人:页面直接给了个"建议删除"。但我把细节拉开看,真正算错误的只有一条,其余大多是"提醒你注意"的级别,比如腕部相机偶尔有两三帧重复、某个关节列看着有点异常。说白了,是体检报告上的箭头,不是病。

数据质检页

所以我只删了那一条,然后把插头摆回一个差不多、但不是完全相同的位置,补录了一条。

这里有个我事后才想明白的点:"建议删除"是整体提示,不是判决书。 要是一条条照着删,五十条能删掉一大半,白干。真正必须处理的是"错误"那一档,警告看情况,提示可以忽略。

三、把录像"洗"成能训练的数据集#

原始录像和能拿去训练的数据集不是一回事。原始录像里带着一堆采集时的小毛病:每条开头都有一段"手还没开始动"的空镜头,两路视频的文件格式也不统一。

构建数据集就是在洗菜:指着原始录像目录扫描,页面认出所有段、确认两路相机都在,我把它们全选上,勾了"截掉开头静止段",写了一句任务描述告诉模型它在干什么,起了个名字,点构建。

然后就是等。它一段一段地校验、重新编码两路视频,日志一行行往下滚。这个过程不难,但慢,适合去倒杯水。

构建数据集页

洗完的成品比原始素材小了不少。被去掉的那部分不是"数据变少了",是"废数据变少了"——模型最怕的就是这种空镜头,它会误以为"什么都不做"也是一种合理的动作。

四、让它自己学#

训练用的是 ACT,控制台里已经备好了预设。参数那一屏我基本没动:batch、动作块长度、学习率、总步数,页面按数据量自己算好了默认值,我只确认了一眼就点了开始。

唯一犹豫的是总步数——页面推荐的上限是十万步,也给了个"跑满预设轮数"的更高数字。我取了上限。理由是这类抓取任务的收益曲线很陡:前面一万步变化最大,两三万步就基本收敛,再往后主要是磨细节,磨过头容易过拟合到训练时那张桌子上。时间紧的话,两三万步就够先上真机试一轮了。

模型训练页

训练跑起来之后,我主要盯着两条线。

一条是 loss。开局是十几,前几百步几乎是垂直往下掉,一千步左右就压到 1 附近,之后变成一条缓慢下滑的长尾巴。这是最舒服的一段——它从"瞎猜"变成了"大概知道该往哪动"。等到几千步之后,loss 掉到零点几,动作预测的误差也降到很低,说明它对"下一步该长什么样"已经摸得比较准了。

另一条是速度。每秒几步,进度条肉眼可见地挪,按这个速度算下来要跑大半天。所以我干脆让它自己跑,去干别的——这也是这次唯一"省力"的地方:采数据要人,洗数据要等,只有训练是机器在替你上班。

原始录像在 recordings/ 里,洗好的数据集在 datasets/ 里,训练输出在 outputs/train/ 下面按名字和时间分的目录里。

五、训练结束:loss 停在哪里#

训练 10 万步结束后在历史训练里回看的 loss 曲线与结束参数

10 万步全部跑完之后,在「历史训练」里点开这次 run 的样子:loss 从开局的十几一路降到 0.038,曲线尾部已经压平;下面这组数字是结束时的 l1 / kld / 学习率 / 显存 / 速度和这一轮用的 batch、chunk、checkpoint。训练结束后(甚至重启控制台之后)点历史表里的 run,就能把这条曲线和这些参数调回来——不用再等它重新训练一遍。