SO-101
课程总览/第 10 章 · 模型训练与推理
EN
第 10 章数据与训练约 30 分钟

模型训练与推理

配套页面:「模型训练」「数据集推理」「实机推理」三个页签 技术栈:LeRobot 0.6.1 + ACT 策略

9 个小节 4 张图 10 段代码 ACTLeRobot部署
模型训练页

1. 这一章在整条链路里的位置#

text
第 8 章 采集       →  recordings/<数据集>/      原始数据
第 9 章 质检       →  筛掉坏段
        ↓
【本章 一】构建数据集 →  datasets/<名字>/      LeRobot v3 格式,训练只认它
【本章 二】训练 ACT   →  outputs/train/<run>/   checkpoint(.safetensors)
【本章 三】数据集推理 →  不动机器人,验证学得对不对
【本章 四】实机推理   →  模型直接驱动机器人

一句话:训练不读 recordings,只读 datasets。中间必须做一次"构建"。

2. 模型的输入和输出#

先看懂这一节,后面所有参数才有意义。ACT 是模仿学习策略:看当前画面和关节角,预测未来一小段时间的关节目标。

输入(每次推理一组)#

输入 形状 从哪来 怎么处理
相机图像 每路 (3, H, W) 数据集视频帧 / 实机相机 缩放到构建时选的分辨率(默认 640×360),/255 到 [0,1],再按数据集统计量做 MEAN_STD 归一化
关节角 state (6,) 该帧的 observation.state 原值(度),同样按统计量归一化
语言指令 — — ACT 不用语言,页面上的"任务文本"只是占位,不影响训练

归一化的均值/方差来自训练集的统计量(构建数据集时算的 stats.json)。这就是"换了数据必须重新构建"的原因——用旧统计量喂新数据,模型看到的是另一套分布。

输出#

text
预测一个 chunk:形状 (chunk_size, 6)
每一行 = 未来某一时刻的六个关节目标(度)

默认 chunk_size = 60,30 fps 下就是未来 2 秒的动作序列,一次推理全给出来。

模型不是"每帧推一次",而是一次推 2 秒、执行其中前若干帧——这就是 n_action_steps 的意义。

一次推理到执行的时序#

text
t=0     读图像+关节角 → 模型 → chunk[0..59]
        执行 chunk[0],下发给从臂
t=1/30  执行 chunk[1]
  ...
t=59/30 执行 chunk[59],队列空
        → 重新读图像、重新推理

实机推理页的「队列剩余」显示的就是这个队列还剩几帧。

3. 构建数据集#

为什么要构建#

录制存的是 pooled_episodes_v1(每段一个 parquet + 每流一个 mp4),而 LeRobotDataset 要的是带统计量、带特征描述、分辨率统一的 v3 数据集。差三件事:

差异 构建时怎么处理
两路相机尺寸可能不同 统一缩放到指定分辨率(默认 640×360)
没有归一化统计 重新统计 min/max/mean/std/q01…q99,写进 stats.json
段开头常有静止画面 可勾「裁掉开头静止段」

构建完会用 LeRobotDataset 实际加载一次做验证,加载不了直接报错,不留半成品。

页面字段#

字段 说明
数据源 recordings/ 下的录制,或任意含 meta/info.json 的目录
相机路数 勾哪几路进数据集。训练用几路,推理就必须开几路
段 每段的文件号、帧数、时长、有的相机;损坏或缺相机的段默认不勾
数据集名 输出到 datasets/<名字>,只允许字母数字下划线点横线
分辨率 下拉选项:640×360(等比,推荐)、480×270(更省)、1280×720(慢,不推荐)。高度由源视频宽高比决定:16:9 的 640 宽是 640×360,4:3 源才是 640×480;抓小物体优先 1280×720
裁掉开头静止段 剪掉开录后没动的头一两秒

4. 训练 ACT#

4.1 页面上的参数(你能改的)#

参数 默认 是什么意思 怎么调
预设 preset standard 决定总步数:quick=3000、standard=按 30 epoch 折算、full=100000 第一次跑流程用 quick;正式训用 standard;数据很多(>200 段)再考虑 full
batch size 8 一次喂多少组样本。越大梯度越稳、越吃显存 显存爆了降到 4 或 2;显存富裕加到 16/32,通常不会明显更好
chunk size 60 一次预测未来多少帧,30 fps 下 60 = 2 秒 动作慢、可预测(抓取、放置)→ 30–60;动作快、多突变 → 20–30。改小更"跟手"但推理更频繁
n_action steps = chunk 一次推理后实际执行多少帧再重推 设成 chunk 的一半(如 30)让"重新观察"更频繁,代价是推理算力翻倍
steps 自动 总训练步数 想手动指定就填;自动值 = 30 × 总帧数 / batch,夹在 3000–100000
learning rate 1e-5(输入框默认已填) 学习率,主参数区可直接改 ACT 对 lr 不敏感,别乱调;范围夹在 1e-7 ~ 1e-2,实际只建议在 1e-5 ~ 3e-5 之间试
save freq 10000 多久存一个 checkpoint;只保留最新 3 个 想对比训练阶段就调小(如 500),注意磁盘只留 3 个
num workers 4 数据加载线程 视频解码是瓶颈时加到 8;CPU 紧张时降到 2
device cuda 训练设备 没有 CUDA 会警告"慢几十倍"
seed 1000 随机种子 复现实验时才需要改

4.2 模型内部超参(页面没暴露,这里是 lerobot 的默认值)#

超参 默认 说明
dim_model 512 Transformer 隐层宽度
n_heads 8 多头注意力头数
dim_feedforward 3200 前馈层宽度
n_encoder_layers / n_decoder_layers 4 / 1 编码器 4 层、解码器 1 层
latent_dim 32 VAE 隐变量维度
kl_weight 10 VAE 的 KL 项权重(越大越平滑保守)
use_vae True 用 VAE 建模动作多峰性(同一画面可以有不同的正确动作)
vision_backbone resnet18 图像主干,训练时随策略一起微调
optimizer_lr 1e-5 就是页面上的 lr

页面只暴露 chunk_size / n_action_steps / lr,其余用默认。这组默认值在 ACT 论文和各路实践里比较稳,不建议新手动。

4.3 训练日志与 loss 曲线#

训练中:训练页上方的曲线每 50 步更新一次,横轴是 step,纵轴是 log10(loss)(对数刻度)。旁边指标卡同时给出 loss / l1 / kld / lr / 显存 / 速度。

训练结束后:页面不再逐秒刷新,但曲线和数字不会丢。在「历史训练」表里点 run 名,或点那一行的 「loss 曲线」,上面的图会切换成那次训练;「返回实时训练」回到正在跑的任务。数据来自 outputs/train/<run>/metrics.jsonl,重启 Web 控制台也还在。

指标 含义 怎么用
loss 总损失 = l1_loss + kl_weight × kld_loss 看整体趋势;早期 KL 可能占很大一块,别只看它
l1_loss 动作重建的平均绝对误差(归一化后) 最直接反映动作学得准不准,优先看它
kld_loss VAE 的 KL 散度 先升后稳正常;长期为 0 说明 VAE 没起作用
lr / mem / speed 学习率、显存、速度 辅助判断是否正常,不是效果指标

l1_loss 是什么意思、怎么算

训练前,每个动作维度会按数据集统计量归一化:

text
â = (a − mean) / std

l1_loss 是在归一化动作空间里算的平均绝对误差:

text
l1_loss = (1 / N_valid) × Σ |â_pred − â_gt| × mask
  • 求和覆盖 batch、chunk 内每一帧、6 个动作维度;
  • mask 用来去掉补齐的 padding 帧(action_is_pad),N_valid 是有效帧数 × 6;
  • 所以它是无量纲的平均绝对误差,不是“度”。l1 = 0.04 不代表 0.04°。

想粗略换算成某个关节的角度误差,可以用该关节的 std:

text
该关节典型 |误差| ≈ l1_j × std_j

std 在 datasets/<数据集>/meta/stats.json 的 action.std 里。比如某关节 std = 20°、 l1 ≈ 0.04,对应约 0.8°;std = 60° 时同样的 l1 约 2.4°。日志里的 l1 是六个关节混在一起的平均值,所以这只能做量级估计;要逐关节的度级误差,直接看第 5 节数据集推理的 MAE / RMSE / 最大误差。

怎么看曲线判断训练效果

  1. 先看 l1 的趋势,不要只看 loss。 正常曲线在前几百步快速下降,之后变成缓慢的长尾;总 loss 早期可能被 KL 项抬高,l1 才反映动作误差。
  2. l1 长时间不降(比如几千步都基本平了):优先怀疑数据不够、相机没对齐、动作覆盖不足或 lr 震荡;继续加步数通常没用。
  3. loss 降了但 l1 不降:检查是不是 KL 项在变;kld_loss 长期为 0 或异常大都要注意。
  4. 训练集 l1 很低、留出测试集推理误差明显更高:过拟合或测试集分布不同;回第 5 节用测试集确认,并优先加数据/多样性,而不是继续加步数。
  5. 不同数据集的 l1 不能直接横比:它们的 std 不同,同样的 0.04 对应的角度误差不一样;比较 run 时至少用同一个数据集、同一套归一化统计量。

下面是一次真实跑完 100,000 步后的回看截图:

训练结束后回看 loss / l1 曲线:50 段、100k 步,最终 loss 0.0380、l1 0.0380、kld 0

示例:SO101_v1_2cam,50 段 / 34,258 帧,100k 步;最终 loss = 0.0380、l1 = 0.0380、 kld = 0.0000,用时 4h49m。

从这张图可以直接读出几件事:

  • 曲线从 15.19 降到 3.8e-2,前几千步下降最快,之后是缓慢长尾;纵轴是对数刻度,所以“看起来接近直线”其实是指数式下降。
  • l1 和 loss 基本重合(0.0380),因为 kld = 0,这次训练的总损失几乎就是动作重建误差。
  • 曲线尾部的小抖动是 mini-batch 噪声,不代表训练坏了;看的是整体平台和 l1 是否还在下降。
  • l1 = 0.038 是归一化值,不是 0.038°。若动作 std 在 20–60°,粗算对应约 1–2° 量级;最终精度仍以数据集推理的 MAE 为准。
  • 这次训练看起来已经收敛,但收敛不等于泛化:还要用没参与训练的测试集跑一次(见下一节),确认不是只记住了训练这批数据。

一句话:loss 曲线看趋势,l1 看动作误差;l1 是无量纲的,要换算成度就乘对应关节的 std,或者直接看数据集推理的 MAE。

4.4 样本量决定上限#

页面会按样本量直接给判断:

text
样本量偏少(2 段 / 760 帧);经验上 50 段起步,当前只适合验证流程
段数 能做什么
< 10 只能验证"流程通不通"
20–50 简单直线任务可能勉强成功
50–200 一般抓取任务可用
> 200 才开始谈得上鲁棒性

样本量不够时调参数基本没用——这是最常见的时间浪费。

4.5 checkpoint、暂停、继续、放弃、队列#

checkpoint 轮转:默认每 10000 步存一次,目录是 outputs/train/<run>/checkpoints/<step>/;磁盘上只保留最新 3 个(约 2 GB,按每份约 600–700 MB 估算),更早的自动删除;历史训练表里也有「清理旧 ckpt」按钮可手动收敛。checkpoints/last 永远指向最新一份。暂停时会额外强制存一次,所以暂停点的 step 不一定正好是 1 万的整数倍。

训练中直接用 checkpoint 推理:不用等训练结束。每次保存完成后,数据集推理页 / 实机推理页的「模型 checkpoint」下拉里就能选到它;点「刷新模型列表」立即刷新。半写状态的 checkpoint 不会出现在列表里(以 training_state/training_step.json 落盘为准),避免选到写了一半的权重。

暂停并保存:训练到一半点「暂停并保存」,进程会在当前这一步结束后存一个 checkpoint,然后退出。页面显示「已暂停」,此时:

  • 「继续训练」:从最新 checkpoint 接着跑,目标步数还是原来的总步数;
  • 「放弃本次训练」:立即结束进程,不再保存新的 checkpoint;之前已经存下的 checkpoint 仍然保留,可以继续用于推理。

注意:暂停只发生在一次完整 checkpoint 写完之后,所以点下去到真正停下会有几秒到几十秒;「启动中」(还在加载数据/权重)时不能暂停。

队列:把当前参数「加入队列」后,如果空闲就立即开始;如果已有训练在跑,就排队等待,当前训练正常完成 / 失败 / 放弃后自动开始下一个。几点约定:

  • 「暂停」是用户主动踩的刹车:暂停中的训练会挡住队列,直到「继续训练」或 「放弃本次训练」;
  • 每条队列项记录数据集、步数、batch、checkpoint 间隔和状态,持久化在 outputs/train/queue.json;
  • Web 服务重启后队列仍在,但不会自动开跑(避免和残留的训练进程抢 GPU)。
互动实验

样本量与训练步数

ACT · 30 fps

页面上的 steps 是自动算的:30 × 总帧数 ÷ batch,夹在 3000–100000。拖一下段数和 batch,看看它会给你什么数,以及这个样本量到底能做什么。

自动 steps42,750夹在 3,000–100,000
总帧数22,800
epochs15.0
chunk 时长2.00 s
自动步数公式和样本量分档来自第 10 章。步数不是越多越好:样本量不够时,先加数据,再谈调参。

5. 数据集推理(不动机器人)#

数据集推理:最新 checkpoint 100000、SO101_v1_2cam ep009、推理步数 chunk = 60

图中示例:最新 checkpoint SO101_v1_2cam @ 100000,数据集 SO101_v1_2cam 的 ep009(658 帧), 推理步数 chunk = 60;共 11 个 chunk,逐 chunk 首帧的平均 |误差| 0.570°。

它回答什么#

"模型预测的动作,和示教的动作差多远?" 纯离线,不用连机械臂。

流程:取某帧的图像 + 关节角 → 模型 → 一个 chunk(默认 60 步)→ 整个 chunk 的每一步都画出来;示教值(GT)则单独从数据集里按帧读出,整段每一帧都画。每隔「推理步数 chunk」帧重新观察、重新推理一次,图上用细虚线标出每个 chunk 的起点。

参数#

参数 说明 怎么调
模型 outputs/train/*/checkpoints/*/pretrained_model 想对比训练阶段就选不同 step
数据集 已构建的 datasets/<名字> 建议用训练没用过的段才看得出泛化
episode 哪一段 —
推理步数 chunk 每隔多少帧重新观察并推理一次(1、chunk、2×chunk…) 填模型的 chunk(默认 60),且必须 ≤ 模型训练时的 chunk;默认 n_action_steps = chunk。这样才模拟实机“执行完一个 chunk 再重新推理”的节奏;填小只是把重推点变密,不是真实推理节奏
起始 / 结束帧 只看一段区间 先看开头 100 帧,快

推理步数不能大于模型训练时的 chunk。 填大了(例如模型 chunk=60 却填 90),一个 chunk 还没执行完就重新观察,实机不会这样跑;页面会直接拒绝。填小了只是把重推点变密:模型每几帧就重新推理一次,推理次数远高于实机,不能代表真实效果。

如果训练时把 n_action_steps 设成了小于 chunk 的值,可以按 n_action_steps 填;默认两者相等,直接填 chunk 即可。

不同推理步数 chunk 与视野#

先分清两个“chunk”:

  • 模型 chunk:训练时固定(这个 checkpoint 是 60 帧),决定模型一次能预测多远的未来动作;页面不能改。
  • 推理步数 chunk:页面参数,决定每隔多少帧重新观察、重新推理一次;必须 ≤ 模型 chunk。

同样的模型和数据集,填不同的推理步数,区别是:

推理步数 重推频率(30 fps) 每次实际用掉多少预测 635 帧的推理次数 适合
1 每帧 30 Hz 1 / 60 635 看单帧极限/调试,不是实机节奏
15 每 0.5 s 2 Hz 15 / 60 43 想看更频繁的重规划
30 每 1 s 1 Hz 30 / 60 22 折中
60 每 2 s 0.5 Hz 60 / 60 11 默认;模拟实机 n_action_steps=60 的真实节奏
>60 — — — 页面直接拒绝(超过模型训练 chunk)

推理次数约为 ceil(帧数 / 推理步数):步数越小,模型被调用得越频繁、图上的橙色段越密、计算越慢;但每次只用了模型预测的一部分。只有步数 = 模型 chunk(默认 60)时,才是“执行完一个完整 chunk 再重新观察”。

chunk 对视野的影响要分清“空间视野”和“时间视野”:

  • 空间视野由相机镜头、分辨率和安装位置决定;chunk 不会放大、缩小或裁切相机画面。
  • 时间视野由训练时的模型 chunk 决定:chunk=60 就是一次预测未来 2 秒(30 fps)的动作。 chunk 越大,模型看得越远、动作越连贯,但开环执行越久,末端误差越容易累积,反应也越慢; chunk 越小,重规划越频繁、越灵敏,但推理算力更高,动作可能更抖。
  • 页面上的「推理步数」只是在提前丢掉模型剩余预测、重新看一眼,并不会扩大模型本身的时间视野。例如模型 chunk=60、推理步数=15:模型仍然预测 60 步,但走了 15 步就重新观察,剩下 45 步没有执行。
  • 图上白线是整段每一帧的 GT,橙线是每个 chunk 的完整 60 步预测;所以步数越小,橙色段重叠越多,看起来越密。误差表只统计每个 chunk 的首帧(实机真正重推的那一刻),不要拿曲线末端判断模型好坏。

用留出测试集检查过拟合#

训练集上的误差低,只能说明模型拟合了训练数据。要判断这次训练有没有过拟合,另录一段没有参与训练的数据,再跑数据集推理:

  1. 用同一任务、同一相机位置/光照/桌面布置,单独录 5–10 段;这些段不要加进训练数据集,也不要和训练段重叠。
  2. 把它们构建成一个独立的测试数据集(例如工作区里的 data_1111_test_2cam),相机路数、分辨率、fps 与训练集一致。
  3. 数据集推理里选训练好的 checkpoint + 测试数据集,推理步数设为模型的 chunk,跑完整段;记下平均 |误差|、各关节 MAE/RMSE。
  4. 再用同一个 checkpoint 对训练集的一段跑一次,比较两组数字和曲线。
训练集 留出测试集 结论
低 与训练集接近 泛化正常,没有明显过拟合
很低 明显更高 过拟合或测试集分布不同;先确认任务/相机/光照一致,再考虑加数据、增强多样性、减少训练步数
都高 都高 欠拟合或数据不足;先加数据、检查训练
训练集低,测试集某些关节特别差 该关节/该物体的动作覆盖不足 补这类演示,而不是继续加步数

测试集只用来做最后判断,不要拿它反复调参;反复按测试集挑 checkpoint,等于把它也间接拟合了。

结果怎么读#

轨迹图:白线 = 数据集每帧的示教 GT(整段完整曲线,和推理步数无关),橙线 = 每个 chunk 预测的整段轨迹,细虚线 = chunk 起点,每格一个关节;横轴是帧号(相对段首,0 = 这一段第一帧),和同页的视频帧一一对应。误差表:pred − GT,逐关节 GT 均值 / Pred 均值 / MAE / RMSE / 最大误差,只统计每个 chunk 的第一帧(也就是实机真正重推的那一刻)。橙线画的是整个 chunk 的开环预测,越往后误差越大:示例里 chunk 首帧平均 1.135°,整段平均约 3.1°,这是正常的 horizon 误差,别只盯着曲线末端判断模型好坏。

RGB 视频 + 帧游标#

选中 episode 就会载入这一段的 RGB 视频(模型要几路显示几路,共用同一时钟)。视频与轨迹图共用同一个「当前帧」:

  • 点「播放」:视频推进到第几帧,轨迹图里的竖线就在第几帧(视频是时钟,不是计时器推算)
  • 点「上一帧」「下一帧」:逐帧前后挪一格,视频和竖线一起走(会自动暂停)
  • 拖动任意一张轨迹图里的竖线:视频跳到那一帧(所有相机一起跳)
  • 拖动进度条也一样

看到某处橙线偏了,直接把竖线拖过去看画面,不用回质检页对时间。竖线整段都能拖;示教值(白线)始终是整段每一帧,橙线是每个 chunk 的整段预测,细虚线标出 chunk 起点。推理步数只决定“多久重新推一次”,不影响示教值曲线本身。

现象 含义 怎么办
橙线贴着白线 学到主趋势 可以上实机试
橙线整体滞后 chunk 太长 / n_action_steps 太大 降 chunk 或 n_action_steps
某关节橙线几乎不动 该关节在训练集里几乎没变化 补含该关节动作的数据
平均误差 > 20° 基本没学会 加数据重训,别调参数
只在某几段特别差 那几段数据质量差 回第 9 章质检
训练集贴合、留出测试集明显变差 过拟合,或测试集与训练集分布不同 先确认任务/相机/光照一致,再加数据/多样性;不要只加训练步数

数据集推理只证明模型能拟合所选的这段数据;训练集低误差 + 留出测试集高误差,才是过拟合的信号。用测试集判断泛化,不代表实机一定成功——实机还要看动力学、延迟和安全层。

6. 实机推理#

实机推理:最新 checkpoint 060000、控制频率 30 Hz、单拍 3°、推理间隔 0.5 s

实机推理全程,机械臂基座和第三视角相机的位置不能动。 基座决定机器人坐标系、工作空间和安全边界;第三视角相机决定模型看到的画面。推理时挪动任何一个,图像的视角、同一组关节角对应的像素、桌面坐标都会变,模型看到的是训练分布之外的状态,输出的动作会明显变差,甚至撞到东西。推理开始前把基座固定、相机架稳;如果中途碰动了,立即停止,恢复原位并重新确认画面/标定;无法精确恢复就重新采集训练,不要直接继续跑。

闭环怎么跑#

text
队列空 → 读两路相机 + 关节角 → 模型 → chunk(60 帧)
       → 装进队列,只取前 n_action_steps 帧
每 1/30 秒:
       从队列取一帧 → 逐关节限幅(默认 ±3°)→ 记成目标
       → SDK 30 Hz 控制回路:读实测 → 安全层 → 写舵机
本批最后一步发完 →(推理间隔 s)→ 回到"队列空",重新推理

开始前必须满足#

条件 不满足会怎样
机械臂已连接(真机) 按钮灰着
模型需要的相机全部打开 报"相机 top 还没打开"
相机画面不过期(>1.5 s) 报"相机画面已过期"
机械臂不在急停 报"机械臂处于急停状态"
数据集推理没在跑 报"数据集推理正在跑,先停止"
基座和第三视角相机没有移动 图像视角/坐标系改变,推理结果不可信;立即停止并恢复

控制频率、单拍限幅与推理间隔#

参数 默认 作用 怎么调
控制频率 30 Hz 每秒下发多少目标 和训练帧率一致(30)。调低会一顿一顿,调高模型来不及
单拍最大关节变化 3° 每拍最多动多少度 第一次跑设 1–2°。限位/速度默认不拦,这个数直接决定速度:3°×30Hz = 90°/s 已经很快
推理间隔 0 s 本批最后一步下发完,先等多久再取帧、推理 常用 0.3–0.5 s:让机械臂停稳、相机拿到新帧,避免用上一段动作尾部的旧帧/运动模糊帧。0 = 队列一空立刻重推,延迟最低但取帧最不稳定;太大则两段动作之间出现明显停顿

限幅是逐关节做的:目标 = 上一个目标 + clamp(模型要求 − 上一个目标, ±限制)。所以模型即使输出离谱值(比如让 wrist 一下转 80°),实际也只走 3°。

推理间隔:给取帧一个稳定窗口#

推理间隔不是“模型休息”,而是本批动作发完之后,先等机械臂和相机稳定,再开始下一次推理:

text
最后一步 action 发完
  → 等待 gap(控制回路继续保持最后一个目标)
  → 读关节角 + 取最新相机帧
  → 模型推理 → 下一批 action

它解决的是取帧时机:如果最后一步刚发完就立刻推理,camera.latest 可能还是机械臂还在动时拍下的旧帧,或者曝光/传输还没跟上;模型看到的是“上一段动作的尾部”,和当前关节角对不上。留 0.3–0.5 s 后,机械臂已经停稳、相机也出了新帧,模型输入和状态更一致。

  • 0:队列一空就重推,响应最快,但最容易取到旧帧;只在相机延迟很低、动作很慢时用。
  • 0.3–0.5 s:30 fps 相机大约多等 9–15 帧,通常足够停稳并拿到新帧;第一次上真机建议从 0.5 s 开始。
  • >1 s:动作之间会出现肉眼可见的停顿,任务节拍变慢;除非任务本身要求“走一段、停一下观察”,否则不要太大。

等待期间控制回路仍在 30 Hz 保持最后一个目标,不会掉力;点「停止」也能立刻打断等待。如果页面上的 camera age 仍然很大,先查相机/USB/CPU,而不是继续加大间隔。

关节速度对推理的影响#

关节速度由控制频率 × 单拍最大关节变化共同决定(近似上限):

控制频率 单拍限幅 近似最大关节速度
30 Hz 1° 30 °/s
30 Hz 2° 60 °/s
30 Hz 3° 90 °/s
30 Hz 5° 150 °/s
  • 太快:模型是在人的示教速度下训练的;推理速度明显快于训练分布时,机械臂会冲过训练时见过的状态,画面运动模糊、舵机跟随滞后,下一帧观测和模型假设对不上,动作容易抖或过冲。
  • 太慢:模型给出的是按 chunk 组织的动作;如果机械臂迟迟走不到预测位置,下一次推理看到的状态还停在上一段,模型会反复“补动作”,任务变慢甚至卡住。
  • 这里的“速度”是目标变化的上限,实际关节速度还受负载、舵机响应和跟踪误差影响;不要把它当成精确速度设定。
  • 第一次跑建议 1–2°(30–60 °/s);确认动作稳定后再加到 3°;5°(150 °/s)只在空间充足、任务简单时用。
  • 如果出现跟踪误差大、画面糊、动作过冲:先降低单拍限幅,不要靠加大推理间隔来“压速度”——间隔只影响两批之间的停顿,不改变批内速度。

安全层在实机推理里管什么#

实机推理和主从遥操是同一类模式:有人在带。遥操时参考是操作者的手,推理时参考是模型的输出——策略已经从示教里学会了该怎么动,软件再按限位或禁区削一刀,只会让从臂卡在边界上、而模型每一拍还在往外推。所以目标虽然仍要过 SafetyLayer.filter(),但默认不按关节限位、速度/加速度、桌面高度和底座禁区拦截(ActionSource.POLICY,和 ActionSource.TELEOP 同一条豁免)。

规则 普通运动(move / 复现 / 对齐) 实机推理(默认)
关节限位 拦 不拦
速度 / 加速度 限 不限:只剩「单拍最大关节变化」这一道
桌面高度 / 底座禁区 拦 不拦
跟随误差 不适用 开:指令最多领先实测 15°,堵转时目标不会一路飘走
急停 / 过温 / 心跳 拦 拦,和遥操一致

建议:实机推理时也关闭「安全区 / 禁区」拦截(保持 policy_enforce_limits = false)。模型输出的是连续位置流;安全区在边界截断会让从臂停在半路,而模型还在输出下一段 chunk,轨迹、观测和动作不再对应,推理结果会严重失真。前提同样是工作区清空、急停可触达;如果现场有固定障碍或人员会进入工作区,再打开拦截。

所以「单拍最大关节变化」是推理链路上唯一的速度旋钮:3° × 30 Hz = 90 °/s。第一次上真机仍然建议 1–2°,鼠标/手指停在急停按钮上,并备一个可断电的物理开关。

想让推理也按限位 / 禁区停:勾上实机推理卡片里的 「推理时仍按限位 / 禁区 / 速度拦截」,或写 ~/.starm/config.toml 的 [safety] policy_enforce_limits = true。勾上之后从臂到边界就停,页面会亮「限位 / 超出工作空间」。

预览:实时画面与「模型输入画面」#

相机卡片右上角有一个按钮,在两种预览之间切换:

预览 看的是什么 什么时候变
实时相机画面(默认) 相机现在拍到的原始画面 约 3 fps 持续刷新
模型输入画面 最近一次推理真正喂给模型的那一帧:BGR→RGB、缩放到构建时选的分辨率(如 640×360) 每次推理更新一次;两次推理之间画面是静止的

这是排查"模型看着 A、实际抓的是 B"最直接的工具:相机预览正常但模型输入里物体不在画面中央、颜色反了、被裁掉了,问题就在采集或构建数据集这一侧,不在模型。

页面右下角的 input 是"第几次推理的帧",gap 是当前的推理间隔。

关节角轨迹(横轴 = 帧号)#

实机推理页底部有六张轨迹图,每下发一帧 action 记一个点:橙线 = 下发的目标,白线 = 当时观测到的关节角。横轴是帧号(第几帧 action,30 Hz 下 1 秒 = 30 帧),不是秒;所以「第 900 帧突然抖了一下」能直接对上录制的第 900 帧。

只保留最近 9000 帧(30 Hz 约 5 分钟)。丢头时帧号继续往后加,页面上标的 帧 N–M 不会错位;停止推理后轨迹仍然留着,方便回看。

跑起来看什么#

指标 正常 异常说明
推理耗时 infer_ms 20–60 ms(GPU) > 33 ms 就跟不上 30 Hz,会掉拍
队列剩余 0–60 循环 一直 0 → 推理太慢
相机延迟 < 100 ms 大了说明相机拖后腿

抽风时#

现象 处理
不动 / 轻微抖 单拍限制太小(1°),或模型输出几乎恒定(回第 5 节看轨迹图)
动作方向反了 训练时 top/wrist 标反了,回第 8 章查设备对应
一启动就冲 立刻「停止」,单拍限制降到 1° 重试
抓空气 数据不够或摆位超出训练分布

7. 一条完整的路#

text
1. 采集 50 段以上(同一任务、同一摆位、同一光照)
2. 质检,剔除重复帧高 / 时间戳异常的段
3. 构建数据集(top+wrist,640×360)
4. 训练:先 quick 3000 步跑通 → 再 standard
5. 数据集推理:推理步数 = chunk(默认 60);先跑训练集,再跑留出测试集,比较 MAE
6. 实机推理:30 Hz、单拍限制 1–2°,扶着急停跑第一遍
7. 不稳就加数据重训,别在推理参数上反复调

8. 常见问题#

现象 原因 处理
「构建数据集」灰着 没选源 / 没勾相机 / 没勾段 依次补上
构建报"没有视频特征" 源录制没有相机流 回第 8 章重录
训练很慢 没有 CUDA 换机器或用 quick 先验证
l1_loss 不降 数据太少 / 相机没对上 / lr 震荡 先看样本量提醒
推理报"找不到模型" checkpoint 目录不对 确认 checkpoints/<step>/pretrained_model/ 下有 config + weights
推理报"模型没有图像输入" 训练时没勾相机 重训
实机推理不动 相机没开 / 模型要两路只开一路 按模型信息里列的相机逐个打开

参考#