模型训练与推理
配套页面:「模型训练」「数据集推理」「实机推理」三个页签 技术栈:LeRobot 0.6.1 + ACT 策略
1. 这一章在整条链路里的位置#
第 8 章 采集 → recordings/<数据集>/ 原始数据
第 9 章 质检 → 筛掉坏段
↓
【本章 一】构建数据集 → datasets/<名字>/ LeRobot v3 格式,训练只认它
【本章 二】训练 ACT → outputs/train/<run>/ checkpoint(.safetensors)
【本章 三】数据集推理 → 不动机器人,验证学得对不对
【本章 四】实机推理 → 模型直接驱动机器人
一句话:训练不读 recordings,只读 datasets。中间必须做一次"构建"。
2. 模型的输入和输出#
先看懂这一节,后面所有参数才有意义。ACT 是模仿学习策略:看当前画面和关节角,预测未来一小段时间的关节目标。
输入(每次推理一组)#
| 输入 | 形状 | 从哪来 | 怎么处理 |
|---|---|---|---|
| 相机图像 | 每路 (3, H, W) |
数据集视频帧 / 实机相机 | 缩放到构建时选的分辨率(默认 640×360),/255 到 [0,1],再按数据集统计量做 MEAN_STD 归一化 |
| 关节角 state | (6,) |
该帧的 observation.state |
原值(度),同样按统计量归一化 |
| 语言指令 | — | — | ACT 不用语言,页面上的"任务文本"只是占位,不影响训练 |
归一化的均值/方差来自训练集的统计量(构建数据集时算的
stats.json)。这就是"换了数据必须重新构建"的原因——用旧统计量喂新数据,模型看到的是另一套分布。
输出#
预测一个 chunk:形状 (chunk_size, 6)
每一行 = 未来某一时刻的六个关节目标(度)
默认 chunk_size = 60,30 fps 下就是未来 2 秒的动作序列,一次推理全给出来。
模型不是"每帧推一次",而是一次推 2 秒、执行其中前若干帧——这就是
n_action_steps 的意义。
一次推理到执行的时序#
t=0 读图像+关节角 → 模型 → chunk[0..59]
执行 chunk[0],下发给从臂
t=1/30 执行 chunk[1]
...
t=59/30 执行 chunk[59],队列空
→ 重新读图像、重新推理
实机推理页的「队列剩余」显示的就是这个队列还剩几帧。
3. 构建数据集#
为什么要构建#
录制存的是 pooled_episodes_v1(每段一个 parquet + 每流一个 mp4),而 LeRobotDataset
要的是带统计量、带特征描述、分辨率统一的 v3 数据集。差三件事:
| 差异 | 构建时怎么处理 |
|---|---|
| 两路相机尺寸可能不同 | 统一缩放到指定分辨率(默认 640×360) |
| 没有归一化统计 | 重新统计 min/max/mean/std/q01…q99,写进 stats.json |
| 段开头常有静止画面 | 可勾「裁掉开头静止段」 |
构建完会用 LeRobotDataset 实际加载一次做验证,加载不了直接报错,不留半成品。
页面字段#
| 字段 | 说明 |
|---|---|
| 数据源 | recordings/ 下的录制,或任意含 meta/info.json 的目录 |
| 相机路数 | 勾哪几路进数据集。训练用几路,推理就必须开几路 |
| 段 | 每段的文件号、帧数、时长、有的相机;损坏或缺相机的段默认不勾 |
| 数据集名 | 输出到 datasets/<名字>,只允许字母数字下划线点横线 |
| 分辨率 | 下拉选项:640×360(等比,推荐)、480×270(更省)、1280×720(慢,不推荐)。高度由源视频宽高比决定:16:9 的 640 宽是 640×360,4:3 源才是 640×480;抓小物体优先 1280×720 |
| 裁掉开头静止段 | 剪掉开录后没动的头一两秒 |
4. 训练 ACT#
4.1 页面上的参数(你能改的)#
| 参数 | 默认 | 是什么意思 | 怎么调 |
|---|---|---|---|
| 预设 preset | standard |
决定总步数:quick=3000、standard=按 30 epoch 折算、full=100000 |
第一次跑流程用 quick;正式训用 standard;数据很多(>200 段)再考虑 full |
| batch size | 8 | 一次喂多少组样本。越大梯度越稳、越吃显存 | 显存爆了降到 4 或 2;显存富裕加到 16/32,通常不会明显更好 |
| chunk size | 60 | 一次预测未来多少帧,30 fps 下 60 = 2 秒 | 动作慢、可预测(抓取、放置)→ 30–60;动作快、多突变 → 20–30。改小更"跟手"但推理更频繁 |
| n_action steps | = chunk | 一次推理后实际执行多少帧再重推 | 设成 chunk 的一半(如 30)让"重新观察"更频繁,代价是推理算力翻倍 |
| steps | 自动 | 总训练步数 | 想手动指定就填;自动值 = 30 × 总帧数 / batch,夹在 3000–100000 |
| learning rate | 1e-5(输入框默认已填) |
学习率,主参数区可直接改 | ACT 对 lr 不敏感,别乱调;范围夹在 1e-7 ~ 1e-2,实际只建议在 1e-5 ~ 3e-5 之间试 |
| save freq | 10000 | 多久存一个 checkpoint;只保留最新 3 个 | 想对比训练阶段就调小(如 500),注意磁盘只留 3 个 |
| num workers | 4 | 数据加载线程 | 视频解码是瓶颈时加到 8;CPU 紧张时降到 2 |
| device | cuda | 训练设备 | 没有 CUDA 会警告"慢几十倍" |
| seed | 1000 | 随机种子 | 复现实验时才需要改 |
4.2 模型内部超参(页面没暴露,这里是 lerobot 的默认值)#
| 超参 | 默认 | 说明 |
|---|---|---|
dim_model |
512 | Transformer 隐层宽度 |
n_heads |
8 | 多头注意力头数 |
dim_feedforward |
3200 | 前馈层宽度 |
n_encoder_layers / n_decoder_layers |
4 / 1 | 编码器 4 层、解码器 1 层 |
latent_dim |
32 | VAE 隐变量维度 |
kl_weight |
10 | VAE 的 KL 项权重(越大越平滑保守) |
use_vae |
True | 用 VAE 建模动作多峰性(同一画面可以有不同的正确动作) |
vision_backbone |
resnet18 | 图像主干,训练时随策略一起微调 |
optimizer_lr |
1e-5 | 就是页面上的 lr |
页面只暴露
chunk_size / n_action_steps / lr,其余用默认。这组默认值在 ACT 论文和各路实践里比较稳,不建议新手动。
4.3 训练日志与 loss 曲线#
训练中:训练页上方的曲线每 50 步更新一次,横轴是 step,纵轴是 log10(loss)(对数刻度)。旁边指标卡同时给出 loss / l1 / kld / lr / 显存 / 速度。
训练结束后:页面不再逐秒刷新,但曲线和数字不会丢。在「历史训练」表里点 run 名,或点那一行的
「loss 曲线」,上面的图会切换成那次训练;「返回实时训练」回到正在跑的任务。数据来自
outputs/train/<run>/metrics.jsonl,重启 Web 控制台也还在。
| 指标 | 含义 | 怎么用 |
|---|---|---|
loss |
总损失 = l1_loss + kl_weight × kld_loss |
看整体趋势;早期 KL 可能占很大一块,别只看它 |
l1_loss |
动作重建的平均绝对误差(归一化后) | 最直接反映动作学得准不准,优先看它 |
kld_loss |
VAE 的 KL 散度 | 先升后稳正常;长期为 0 说明 VAE 没起作用 |
lr / mem / speed |
学习率、显存、速度 | 辅助判断是否正常,不是效果指标 |
l1_loss 是什么意思、怎么算
训练前,每个动作维度会按数据集统计量归一化:
â = (a − mean) / std
l1_loss 是在归一化动作空间里算的平均绝对误差:
l1_loss = (1 / N_valid) × Σ |â_pred − â_gt| × mask
- 求和覆盖 batch、chunk 内每一帧、6 个动作维度;
mask用来去掉补齐的 padding 帧(action_is_pad),N_valid是有效帧数 × 6;- 所以它是无量纲的平均绝对误差,不是“度”。
l1 = 0.04不代表 0.04°。
想粗略换算成某个关节的角度误差,可以用该关节的 std:
该关节典型 |误差| ≈ l1_j × std_j
std 在 datasets/<数据集>/meta/stats.json 的 action.std 里。比如某关节 std = 20°、
l1 ≈ 0.04,对应约 0.8°;std = 60° 时同样的 l1 约 2.4°。日志里的 l1 是六个关节混在一起的平均值,所以这只能做量级估计;要逐关节的度级误差,直接看第 5 节数据集推理的
MAE / RMSE / 最大误差。
怎么看曲线判断训练效果
- 先看 l1 的趋势,不要只看 loss。 正常曲线在前几百步快速下降,之后变成缓慢的长尾;总 loss 早期可能被 KL 项抬高,
l1才反映动作误差。 - l1 长时间不降(比如几千步都基本平了):优先怀疑数据不够、相机没对齐、动作覆盖不足或 lr 震荡;继续加步数通常没用。
- loss 降了但 l1 不降:检查是不是 KL 项在变;
kld_loss长期为 0 或异常大都要注意。 - 训练集 l1 很低、留出测试集推理误差明显更高:过拟合或测试集分布不同;回第 5 节用测试集确认,并优先加数据/多样性,而不是继续加步数。
- 不同数据集的 l1 不能直接横比:它们的
std不同,同样的0.04对应的角度误差不一样;比较 run 时至少用同一个数据集、同一套归一化统计量。
下面是一次真实跑完 100,000 步后的回看截图:
示例:SO101_v1_2cam,50 段 / 34,258 帧,100k 步;最终 loss = 0.0380、l1 = 0.0380、
kld = 0.0000,用时 4h49m。
从这张图可以直接读出几件事:
- 曲线从 15.19 降到 3.8e-2,前几千步下降最快,之后是缓慢长尾;纵轴是对数刻度,所以“看起来接近直线”其实是指数式下降。
- l1 和 loss 基本重合(0.0380),因为
kld = 0,这次训练的总损失几乎就是动作重建误差。 - 曲线尾部的小抖动是 mini-batch 噪声,不代表训练坏了;看的是整体平台和 l1 是否还在下降。
l1 = 0.038是归一化值,不是 0.038°。若动作std在 20–60°,粗算对应约 1–2° 量级;最终精度仍以数据集推理的 MAE 为准。- 这次训练看起来已经收敛,但收敛不等于泛化:还要用没参与训练的测试集跑一次(见下一节),确认不是只记住了训练这批数据。
一句话:loss 曲线看趋势,l1 看动作误差;l1 是无量纲的,要换算成度就乘对应关节的 std,或者直接看数据集推理的 MAE。
4.4 样本量决定上限#
页面会按样本量直接给判断:
样本量偏少(2 段 / 760 帧);经验上 50 段起步,当前只适合验证流程
| 段数 | 能做什么 |
|---|---|
| < 10 | 只能验证"流程通不通" |
| 20–50 | 简单直线任务可能勉强成功 |
| 50–200 | 一般抓取任务可用 |
| > 200 | 才开始谈得上鲁棒性 |
样本量不够时调参数基本没用——这是最常见的时间浪费。
4.5 checkpoint、暂停、继续、放弃、队列#
checkpoint 轮转:默认每 10000 步存一次,目录是
outputs/train/<run>/checkpoints/<step>/;磁盘上只保留最新 3 个(约 2 GB,按每份约 600–700 MB 估算),更早的自动删除;历史训练表里也有「清理旧 ckpt」按钮可手动收敛。checkpoints/last
永远指向最新一份。暂停时会额外强制存一次,所以暂停点的 step 不一定正好是 1 万的整数倍。
训练中直接用 checkpoint 推理:不用等训练结束。每次保存完成后,数据集推理页 /
实机推理页的「模型 checkpoint」下拉里就能选到它;点「刷新模型列表」立即刷新。半写状态的 checkpoint 不会出现在列表里(以 training_state/training_step.json
落盘为准),避免选到写了一半的权重。
暂停并保存:训练到一半点「暂停并保存」,进程会在当前这一步结束后存一个 checkpoint,然后退出。页面显示「已暂停」,此时:
- 「继续训练」:从最新 checkpoint 接着跑,目标步数还是原来的总步数;
- 「放弃本次训练」:立即结束进程,不再保存新的 checkpoint;之前已经存下的 checkpoint 仍然保留,可以继续用于推理。
注意:暂停只发生在一次完整 checkpoint 写完之后,所以点下去到真正停下会有几秒到几十秒;「启动中」(还在加载数据/权重)时不能暂停。
队列:把当前参数「加入队列」后,如果空闲就立即开始;如果已有训练在跑,就排队等待,当前训练正常完成 / 失败 / 放弃后自动开始下一个。几点约定:
- 「暂停」是用户主动踩的刹车:暂停中的训练会挡住队列,直到「继续训练」或 「放弃本次训练」;
- 每条队列项记录数据集、步数、batch、checkpoint 间隔和状态,持久化在
outputs/train/queue.json; - Web 服务重启后队列仍在,但不会自动开跑(避免和残留的训练进程抢 GPU)。
5. 数据集推理(不动机器人)#
图中示例:最新 checkpoint
SO101_v1_2cam @ 100000,数据集SO101_v1_2cam的 ep009(658 帧),推理步数 chunk = 60;共 11 个 chunk,逐 chunk 首帧的平均 |误差| 0.570°。
它回答什么#
"模型预测的动作,和示教的动作差多远?" 纯离线,不用连机械臂。
流程:取某帧的图像 + 关节角 → 模型 → 一个 chunk(默认 60 步)→ 整个 chunk 的每一步都画出来;示教值(GT)则单独从数据集里按帧读出,整段每一帧都画。每隔「推理步数 chunk」帧重新观察、重新推理一次,图上用细虚线标出每个 chunk 的起点。
参数#
| 参数 | 说明 | 怎么调 |
|---|---|---|
| 模型 | outputs/train/*/checkpoints/*/pretrained_model |
想对比训练阶段就选不同 step |
| 数据集 | 已构建的 datasets/<名字> |
建议用训练没用过的段才看得出泛化 |
| episode | 哪一段 | — |
| 推理步数 chunk | 每隔多少帧重新观察并推理一次(1、chunk、2×chunk…) | 填模型的 chunk(默认 60),且必须 ≤ 模型训练时的 chunk;默认 n_action_steps = chunk。这样才模拟实机“执行完一个 chunk 再重新推理”的节奏;填小只是把重推点变密,不是真实推理节奏 |
| 起始 / 结束帧 | 只看一段区间 | 先看开头 100 帧,快 |
推理步数不能大于模型训练时的 chunk。 填大了(例如模型 chunk=60 却填 90),一个 chunk 还没执行完就重新观察,实机不会这样跑;页面会直接拒绝。填小了只是把重推点变密:模型每几帧就重新推理一次,推理次数远高于实机,不能代表真实效果。
如果训练时把
n_action_steps设成了小于 chunk 的值,可以按n_action_steps填;默认两者相等,直接填 chunk 即可。
不同推理步数 chunk 与视野#
先分清两个“chunk”:
- 模型 chunk:训练时固定(这个 checkpoint 是 60 帧),决定模型一次能预测多远的未来动作;页面不能改。
- 推理步数 chunk:页面参数,决定每隔多少帧重新观察、重新推理一次;必须 ≤ 模型 chunk。
同样的模型和数据集,填不同的推理步数,区别是:
| 推理步数 | 重推频率(30 fps) | 每次实际用掉多少预测 | 635 帧的推理次数 | 适合 |
|---|---|---|---|---|
| 1 | 每帧 30 Hz | 1 / 60 | 635 | 看单帧极限/调试,不是实机节奏 |
| 15 | 每 0.5 s 2 Hz | 15 / 60 | 43 | 想看更频繁的重规划 |
| 30 | 每 1 s 1 Hz | 30 / 60 | 22 | 折中 |
| 60 | 每 2 s 0.5 Hz | 60 / 60 | 11 | 默认;模拟实机 n_action_steps=60 的真实节奏 |
| >60 | — | — | — | 页面直接拒绝(超过模型训练 chunk) |
推理次数约为 ceil(帧数 / 推理步数):步数越小,模型被调用得越频繁、图上的橙色段越密、计算越慢;但每次只用了模型预测的一部分。只有步数 = 模型 chunk(默认 60)时,才是“执行完一个完整 chunk 再重新观察”。
chunk 对视野的影响要分清“空间视野”和“时间视野”:
- 空间视野由相机镜头、分辨率和安装位置决定;chunk 不会放大、缩小或裁切相机画面。
- 时间视野由训练时的模型 chunk 决定:chunk=60 就是一次预测未来 2 秒(30 fps)的动作。 chunk 越大,模型看得越远、动作越连贯,但开环执行越久,末端误差越容易累积,反应也越慢; chunk 越小,重规划越频繁、越灵敏,但推理算力更高,动作可能更抖。
- 页面上的「推理步数」只是在提前丢掉模型剩余预测、重新看一眼,并不会扩大模型本身的时间视野。例如模型 chunk=60、推理步数=15:模型仍然预测 60 步,但走了 15 步就重新观察,剩下 45 步没有执行。
- 图上白线是整段每一帧的 GT,橙线是每个 chunk 的完整 60 步预测;所以步数越小,橙色段重叠越多,看起来越密。误差表只统计每个 chunk 的首帧(实机真正重推的那一刻),不要拿曲线末端判断模型好坏。
用留出测试集检查过拟合#
训练集上的误差低,只能说明模型拟合了训练数据。要判断这次训练有没有过拟合,另录一段没有参与训练的数据,再跑数据集推理:
- 用同一任务、同一相机位置/光照/桌面布置,单独录 5–10 段;这些段不要加进训练数据集,也不要和训练段重叠。
- 把它们构建成一个独立的测试数据集(例如工作区里的
data_1111_test_2cam),相机路数、分辨率、fps 与训练集一致。 - 数据集推理里选训练好的 checkpoint + 测试数据集,推理步数设为模型的 chunk,跑完整段;记下平均 |误差|、各关节 MAE/RMSE。
- 再用同一个 checkpoint 对训练集的一段跑一次,比较两组数字和曲线。
| 训练集 | 留出测试集 | 结论 |
|---|---|---|
| 低 | 与训练集接近 | 泛化正常,没有明显过拟合 |
| 很低 | 明显更高 | 过拟合或测试集分布不同;先确认任务/相机/光照一致,再考虑加数据、增强多样性、减少训练步数 |
| 都高 | 都高 | 欠拟合或数据不足;先加数据、检查训练 |
| 训练集低,测试集某些关节特别差 | 该关节/该物体的动作覆盖不足 | 补这类演示,而不是继续加步数 |
测试集只用来做最后判断,不要拿它反复调参;反复按测试集挑 checkpoint,等于把它也间接拟合了。
结果怎么读#
轨迹图:白线 = 数据集每帧的示教 GT(整段完整曲线,和推理步数无关),橙线 = 每个 chunk 预测的整段轨迹,细虚线 = chunk 起点,每格一个关节;横轴是帧号(相对段首,0 = 这一段第一帧),和同页的视频帧一一对应。误差表:pred − GT,逐关节 GT 均值 / Pred 均值 / MAE / RMSE / 最大误差,只统计每个 chunk 的第一帧(也就是实机真正重推的那一刻)。橙线画的是整个 chunk 的开环预测,越往后误差越大:示例里 chunk 首帧平均
1.135°,整段平均约 3.1°,这是正常的 horizon 误差,别只盯着曲线末端判断模型好坏。
RGB 视频 + 帧游标#
选中 episode 就会载入这一段的 RGB 视频(模型要几路显示几路,共用同一时钟)。视频与轨迹图共用同一个「当前帧」:
- 点「播放」:视频推进到第几帧,轨迹图里的竖线就在第几帧(视频是时钟,不是计时器推算)
- 点「上一帧」「下一帧」:逐帧前后挪一格,视频和竖线一起走(会自动暂停)
- 拖动任意一张轨迹图里的竖线:视频跳到那一帧(所有相机一起跳)
- 拖动进度条也一样
看到某处橙线偏了,直接把竖线拖过去看画面,不用回质检页对时间。竖线整段都能拖;示教值(白线)始终是整段每一帧,橙线是每个 chunk 的整段预测,细虚线标出 chunk 起点。推理步数只决定“多久重新推一次”,不影响示教值曲线本身。
| 现象 | 含义 | 怎么办 |
|---|---|---|
| 橙线贴着白线 | 学到主趋势 | 可以上实机试 |
| 橙线整体滞后 | chunk 太长 / n_action_steps 太大 | 降 chunk 或 n_action_steps |
| 某关节橙线几乎不动 | 该关节在训练集里几乎没变化 | 补含该关节动作的数据 |
| 平均误差 > 20° | 基本没学会 | 加数据重训,别调参数 |
| 只在某几段特别差 | 那几段数据质量差 | 回第 9 章质检 |
| 训练集贴合、留出测试集明显变差 | 过拟合,或测试集与训练集分布不同 | 先确认任务/相机/光照一致,再加数据/多样性;不要只加训练步数 |
数据集推理只证明模型能拟合所选的这段数据;训练集低误差 + 留出测试集高误差,才是过拟合的信号。用测试集判断泛化,不代表实机一定成功——实机还要看动力学、延迟和安全层。
6. 实机推理#
实机推理全程,机械臂基座和第三视角相机的位置不能动。 基座决定机器人坐标系、工作空间和安全边界;第三视角相机决定模型看到的画面。推理时挪动任何一个,图像的视角、同一组关节角对应的像素、桌面坐标都会变,模型看到的是训练分布之外的状态,输出的动作会明显变差,甚至撞到东西。推理开始前把基座固定、相机架稳;如果中途碰动了,立即停止,恢复原位并重新确认画面/标定;无法精确恢复就重新采集训练,不要直接继续跑。
闭环怎么跑#
队列空 → 读两路相机 + 关节角 → 模型 → chunk(60 帧)
→ 装进队列,只取前 n_action_steps 帧
每 1/30 秒:
从队列取一帧 → 逐关节限幅(默认 ±3°)→ 记成目标
→ SDK 30 Hz 控制回路:读实测 → 安全层 → 写舵机
本批最后一步发完 →(推理间隔 s)→ 回到"队列空",重新推理
开始前必须满足#
| 条件 | 不满足会怎样 |
|---|---|
| 机械臂已连接(真机) | 按钮灰着 |
| 模型需要的相机全部打开 | 报"相机 top 还没打开" |
| 相机画面不过期(>1.5 s) | 报"相机画面已过期" |
| 机械臂不在急停 | 报"机械臂处于急停状态" |
| 数据集推理没在跑 | 报"数据集推理正在跑,先停止" |
| 基座和第三视角相机没有移动 | 图像视角/坐标系改变,推理结果不可信;立即停止并恢复 |
控制频率、单拍限幅与推理间隔#
| 参数 | 默认 | 作用 | 怎么调 |
|---|---|---|---|
| 控制频率 | 30 Hz | 每秒下发多少目标 | 和训练帧率一致(30)。调低会一顿一顿,调高模型来不及 |
| 单拍最大关节变化 | 3° | 每拍最多动多少度 | 第一次跑设 1–2°。限位/速度默认不拦,这个数直接决定速度:3°×30Hz = 90°/s 已经很快 |
| 推理间隔 | 0 s | 本批最后一步下发完,先等多久再取帧、推理 | 常用 0.3–0.5 s:让机械臂停稳、相机拿到新帧,避免用上一段动作尾部的旧帧/运动模糊帧。0 = 队列一空立刻重推,延迟最低但取帧最不稳定;太大则两段动作之间出现明显停顿 |
限幅是逐关节做的:目标 = 上一个目标 + clamp(模型要求 − 上一个目标, ±限制)。所以模型即使输出离谱值(比如让 wrist 一下转 80°),实际也只走 3°。
推理间隔:给取帧一个稳定窗口#
推理间隔不是“模型休息”,而是本批动作发完之后,先等机械臂和相机稳定,再开始下一次推理:
最后一步 action 发完
→ 等待 gap(控制回路继续保持最后一个目标)
→ 读关节角 + 取最新相机帧
→ 模型推理 → 下一批 action
它解决的是取帧时机:如果最后一步刚发完就立刻推理,camera.latest 可能还是机械臂还在动时拍下的旧帧,或者曝光/传输还没跟上;模型看到的是“上一段动作的尾部”,和当前关节角对不上。留 0.3–0.5 s 后,机械臂已经停稳、相机也出了新帧,模型输入和状态更一致。
0:队列一空就重推,响应最快,但最容易取到旧帧;只在相机延迟很低、动作很慢时用。0.3–0.5 s:30 fps 相机大约多等 9–15 帧,通常足够停稳并拿到新帧;第一次上真机建议从 0.5 s 开始。>1 s:动作之间会出现肉眼可见的停顿,任务节拍变慢;除非任务本身要求“走一段、停一下观察”,否则不要太大。
等待期间控制回路仍在 30 Hz 保持最后一个目标,不会掉力;点「停止」也能立刻打断等待。如果页面上的
camera age仍然很大,先查相机/USB/CPU,而不是继续加大间隔。
关节速度对推理的影响#
关节速度由控制频率 × 单拍最大关节变化共同决定(近似上限):
| 控制频率 | 单拍限幅 | 近似最大关节速度 |
|---|---|---|
| 30 Hz | 1° | 30 °/s |
| 30 Hz | 2° | 60 °/s |
| 30 Hz | 3° | 90 °/s |
| 30 Hz | 5° | 150 °/s |
- 太快:模型是在人的示教速度下训练的;推理速度明显快于训练分布时,机械臂会冲过训练时见过的状态,画面运动模糊、舵机跟随滞后,下一帧观测和模型假设对不上,动作容易抖或过冲。
- 太慢:模型给出的是按 chunk 组织的动作;如果机械臂迟迟走不到预测位置,下一次推理看到的状态还停在上一段,模型会反复“补动作”,任务变慢甚至卡住。
- 这里的“速度”是目标变化的上限,实际关节速度还受负载、舵机响应和跟踪误差影响;不要把它当成精确速度设定。
- 第一次跑建议 1–2°(30–60 °/s);确认动作稳定后再加到 3°;5°(150 °/s)只在空间充足、任务简单时用。
- 如果出现跟踪误差大、画面糊、动作过冲:先降低单拍限幅,不要靠加大推理间隔来“压速度”——间隔只影响两批之间的停顿,不改变批内速度。
安全层在实机推理里管什么#
实机推理和主从遥操是同一类模式:有人在带。遥操时参考是操作者的手,推理时参考是模型的输出——策略已经从示教里学会了该怎么动,软件再按限位或禁区削一刀,只会让从臂卡在边界上、而模型每一拍还在往外推。所以目标虽然仍要过
SafetyLayer.filter(),但默认不按关节限位、速度/加速度、桌面高度和底座禁区拦截(ActionSource.POLICY,和 ActionSource.TELEOP 同一条豁免)。
| 规则 | 普通运动(move / 复现 / 对齐) | 实机推理(默认) |
|---|---|---|
| 关节限位 | 拦 | 不拦 |
| 速度 / 加速度 | 限 | 不限:只剩「单拍最大关节变化」这一道 |
| 桌面高度 / 底座禁区 | 拦 | 不拦 |
| 跟随误差 | 不适用 | 开:指令最多领先实测 15°,堵转时目标不会一路飘走 |
| 急停 / 过温 / 心跳 | 拦 | 拦,和遥操一致 |
建议:实机推理时也关闭「安全区 / 禁区」拦截(保持
policy_enforce_limits = false)。模型输出的是连续位置流;安全区在边界截断会让从臂停在半路,而模型还在输出下一段 chunk,轨迹、观测和动作不再对应,推理结果会严重失真。前提同样是工作区清空、急停可触达;如果现场有固定障碍或人员会进入工作区,再打开拦截。
所以「单拍最大关节变化」是推理链路上唯一的速度旋钮:3° × 30 Hz = 90 °/s。第一次上真机仍然建议 1–2°,鼠标/手指停在急停按钮上,并备一个可断电的物理开关。
想让推理也按限位 / 禁区停:勾上实机推理卡片里的 「推理时仍按限位 / 禁区 / 速度拦截」,或写
~/.starm/config.toml的[safety] policy_enforce_limits = true。勾上之后从臂到边界就停,页面会亮「限位 / 超出工作空间」。
预览:实时画面与「模型输入画面」#
相机卡片右上角有一个按钮,在两种预览之间切换:
| 预览 | 看的是什么 | 什么时候变 |
|---|---|---|
| 实时相机画面(默认) | 相机现在拍到的原始画面 | 约 3 fps 持续刷新 |
| 模型输入画面 | 最近一次推理真正喂给模型的那一帧:BGR→RGB、缩放到构建时选的分辨率(如 640×360) | 每次推理更新一次;两次推理之间画面是静止的 |
这是排查"模型看着 A、实际抓的是 B"最直接的工具:相机预览正常但模型输入里物体不在画面中央、颜色反了、被裁掉了,问题就在采集或构建数据集这一侧,不在模型。
页面右下角的 input 是"第几次推理的帧",gap 是当前的推理间隔。
关节角轨迹(横轴 = 帧号)#
实机推理页底部有六张轨迹图,每下发一帧 action 记一个点:橙线 = 下发的目标,白线 = 当时观测到的关节角。横轴是帧号(第几帧 action,30 Hz 下 1 秒 = 30 帧),不是秒;所以「第 900 帧突然抖了一下」能直接对上录制的第 900 帧。
只保留最近 9000 帧(30 Hz 约 5 分钟)。丢头时帧号继续往后加,页面上标的
帧 N–M 不会错位;停止推理后轨迹仍然留着,方便回看。
跑起来看什么#
| 指标 | 正常 | 异常说明 |
|---|---|---|
推理耗时 infer_ms |
20–60 ms(GPU) | > 33 ms 就跟不上 30 Hz,会掉拍 |
| 队列剩余 | 0–60 循环 | 一直 0 → 推理太慢 |
| 相机延迟 | < 100 ms | 大了说明相机拖后腿 |
抽风时#
| 现象 | 处理 |
|---|---|
| 不动 / 轻微抖 | 单拍限制太小(1°),或模型输出几乎恒定(回第 5 节看轨迹图) |
| 动作方向反了 | 训练时 top/wrist 标反了,回第 8 章查设备对应 |
| 一启动就冲 | 立刻「停止」,单拍限制降到 1° 重试 |
| 抓空气 | 数据不够或摆位超出训练分布 |
7. 一条完整的路#
1. 采集 50 段以上(同一任务、同一摆位、同一光照)
2. 质检,剔除重复帧高 / 时间戳异常的段
3. 构建数据集(top+wrist,640×360)
4. 训练:先 quick 3000 步跑通 → 再 standard
5. 数据集推理:推理步数 = chunk(默认 60);先跑训练集,再跑留出测试集,比较 MAE
6. 实机推理:30 Hz、单拍限制 1–2°,扶着急停跑第一遍
7. 不稳就加数据重训,别在推理参数上反复调
8. 常见问题#
| 现象 | 原因 | 处理 |
|---|---|---|
| 「构建数据集」灰着 | 没选源 / 没勾相机 / 没勾段 | 依次补上 |
| 构建报"没有视频特征" | 源录制没有相机流 | 回第 8 章重录 |
| 训练很慢 | 没有 CUDA | 换机器或用 quick 先验证 |
l1_loss 不降 |
数据太少 / 相机没对上 / lr 震荡 | 先看样本量提醒 |
| 推理报"找不到模型" | checkpoint 目录不对 | 确认 checkpoints/<step>/pretrained_model/ 下有 config + weights |
| 推理报"模型没有图像输入" | 训练时没勾相机 | 重训 |
| 实机推理不动 | 相机没开 / 模型要两路只开一路 | 按模型信息里列的相机逐个打开 |
参考#
- 第 8 章:数据采集 —— 训练数据从哪来
- 第 9 章:数据质检 —— 什么数据不该拿去训练
- 代码:
webapp/trainer.py(构建 + 训练)、webapp/inference.py(两种推理)