SO-101
课程总览/第 07 章 · 相机标定
EN
第 07 章遥操作与视觉约 28 分钟

相机标定

配套页面:控制台的「相机标定」页签

8 个小节 4 张图 11 段代码 视觉单应矩阵ArUco

1. 两件不同的事:内参和外参#

"相机标定"这个词经常把两件事混在一起,先把它们分开:

内参 外参(手眼)
回答的问题 画面里一个像素对应多大角度? 像素对应桌面上哪个点?
参数 焦距、主点、畸变系数 相机相对机械臂的位姿
怎么标 拍棋盘格,用张氏标定法 采集若干(像素, 机械臂坐标)对
换什么要重标 换镜头、换分辨率、重新对焦 相机挪了位置

这一页做的是外参(手眼标定):把像素稳定映射到机械臂的桌面坐标。

2. 眼在手上,还是眼在手外#

眼在手上(eye-in-hand) 眼在手外(eye-to-hand)
相机装哪 腕部,跟着手臂动 固定在支架 / 桌面上
标的是 相机 → 法兰 相机 → 基座
优点 能凑近看细节、不怕遮挡 视野稳定、标一次就不动
缺点 每动一次视角就变,标定更麻烦 手臂可能挡住视线

本页按眼在手外、俯视桌面来做——这也是 SO-101 这类桌面臂最常见的装法。

3. 单应矩阵:把像素变成桌面坐标#

假设物体都在同一个平面(桌面)上,像素 (u, v) 到桌面 (x, y) 就是一个单应变换:

text
        [h11 h12 h13]
[x y 1]ᵀ ~ [h21 h22 h23] · [u v 1]ᵀ
        [h31 h32 h33]

展开就是:

text
x = (h11·u + h12·v + h13) / (h31·u + h32·v + h33)
y = (h21·u + h22·v + h23) / (h31·u + h32·v + h33)

矩阵整体可以缩放,所以自由度是 8。每一对点给出 2 个方程,于是:

4 对点刚好解出 8 个未知数。

重要:4 个点的残差恒为 0#

8 个方程解 8 个未知数——数学上是唯一解,残差必然为零。也就是说:

只取 4 个点,你永远看不出标定准不准。

想评估误差,必须多取点(9 点法)或者留几个点专门做验证。这一页求解时会算每个点的残差,少于 5 个点时那些 0 是没有信息量的。

4. 九点标定怎么做#

这是最经典、也最容易在桌面上实现的做法:

步骤#

  1. 在桌面上摆 9 个点,铺开成网格,别都挤在一角(分布越开,外推越稳)
  2. 让 TCP 依次触碰这 9 个点: - 真机:手动示教,或用「末端位姿」页把 TCP 移到每个点上方再下降 - 每碰到一个点,记下机械臂的 (x, y)——这就是这一点的桌面坐标真值
  3. 在画面里点同一个点,拿到它的像素坐标 (u, v)
  4. 两列填进「标定点」表:一行一个点
  5. 点「求解单应矩阵」

标定板怎么放#

九点标定需要桌面上有已知的、能看清的点位。三种做法,从简单到讲究:

做法 材料 适合
打印一张九点图 A4 纸打印 9 个十字/圆点,贴平在桌面 最省事,推荐
ArUco 标定板 打印标记,用检测算法自动找中心 点位准、可自动
直接用桌面特征 已有的螺丝孔、贴纸角 应急,但点位精度差

要点:

  1. 铺开:9 个点尽量覆盖整个工作区,别挤在中间一小块。外推(画面边缘)比内插误差大得多。
  2. 压在桌面上:纸要贴平,别翘边——单应矩阵假设所有点在同一个平面上。
  3. 点要看得清:直径 5–10 mm 的实心圆或十字最好,太小在画面里点不准。
  4. 高度一致:标定用的点应该在实际抓取高度的平面上(通常就是桌面)。
九点标定板:3×3 个 ArUco 标记铺满顶部相机的工作区

示例:顶部相机下的 3×3 九点标定板。九个标记大致等距、铺满工作区,而不是挤在画面中间。

摆成图中的 3×3 之后,再检查几件事:

  • 铺满工作区:九点要覆盖实际抓取会用到的范围,四个角和边缘都要有;只铺中间一小块,边缘外推误差会很大。
  • 同一平面、贴平桌面:纸或板不能翘边、不能垫高;单应矩阵只对这一个平面成立。
  • 九点都在画面内:顶部相机要完整看到每一个标记,别让画面边缘切掉标记;机械臂/夹爪不要挡住它们。
  • 标记别太小、别过曝:图中标记在 640×360 预览里仍能看清;如果发白、发灰,先降亮度(约 -20 ~ -40)再检测。
  • 检测后不要再挪板:编号 #1..#9 和桌面坐标是一一对应的;挪了就要重新检测、重新教坐标。
  • 点数不是死的:至少 5 个点也能解,但 8–9 个点分布更开、残差更可信;九点是最常用的折中。

标记贴在夹爪上,还是贴在桌面上#

这是两种不同的标定方法,都合法,取决于你手上有什么:

标记贴桌面(本页的做法) 标记贴夹爪
也叫 平面标定 / 九点法 手眼标定(eye-to-hand)
需要 每个标记的桌面坐标真值(用 TCP 教或量) 相机内参 + 多组姿态
机械臂动不动 只用来"教坐标" 要动很多次,每次一个姿态
解什么 单应矩阵 H(像素 → 桌面 mm) 相机相对基座的刚体变换(旋转 + 平移)
能处理不同高度 不能(只在标定平面有效) 能(是完整的 3D 变换)

所以:顶部相机标定时,标记确实可以固定在夹爪上——那是标准手眼标定(cv2.calibrateHandEye,AX=XB)。它不需要你知道桌面上任何点的坐标,但要求:

  1. 先做内参标定(不然解不出标记的 3D 位姿)
  2. 机械臂走 5–10 个姿态差异明显的位置,每个位置记录机器人的 TCP 位姿和标记的相机位姿
  3. 解出相机→基座的变换

本页目前做的是左边那一列(桌面标记 + 单应矩阵),因为它不需要内参、标一次就能抓平面的东西。要做右边那套(夹爪上贴标记、多姿态),需要先补内参标定和 3D 位姿求解——那是下一步的事。

一句话:板在桌上 → 标"像素到桌面"的平面映射;板在夹爪上 → 标"相机到机械臂"的三维关系。

怎么点:一步一点#

页面的取点可以点一下画面就记一个点,同时自动带上当前 TCP 的坐标(顶部有开关,臂不在点位上时记得取消勾选):

text
① 让 TCP 停在某个标记点正上方 → 下降,直到 TCP 垂直投影落在标记上
② 在画面里点一下那个标记
   → 表格新增一行:像素 (u,v) 来自点击,(x, y) 自动取当前 TCP
③ 移动 TCP 到下一个点,重复

所以顺序是 先摆臂、再点画面。如果先点了画面又去动臂,那一行的 (x, y) 就对不上了—— 改完记得重新点一下那个点,或者手动改表里的数字。

机械臂没连接时,点画面只会记下像素,(x, y) 要手动填。

顶部相机的标定流程#

顶部相机是固定的,标一次全局有效。

准备

步骤 操作
1 连接机械臂(真机),确认力矩正常
2 相机页 → 视角 top → 设备路径(如 /dev/video2)→「连接该视角」
3 亮度调到 -20 ~ -40(过曝会让标记发灰,检测不到)
4 把标记铺开贴在桌面,覆盖工作区(至少 5 个,推荐 8–9 个)

取点

步骤 操作
5 标记类型选「任意方形标记」(标准 ArUco 就选 ArUco + 字典)
6 点「检测 ArUco 标记」→ 画面圈出 #1..#N,表格自动填好像素
7 对着画面确认编号和桌面上标记的对应关系(画面上有 #N 标签)

教坐标(每个点重复)

步骤 操作
8 用「末端位姿」把 TCP 移到该标记正上方
9 下降 z 到 32–35(几乎贴桌面)——抬太高会有透视偏移
10 微调 x/y,让 TCP 正对标记中心
11 表格里点一下那一行(变蓝)→「用当前 TCP 填桌面坐标」

手扶不动?点相机卡片上的 「示教模式」:卸掉力矩,直接用手把 TCP 摆到标记上,再点「用当前 TCP 填桌面坐标」,记完接着摆下一个。用完点「完成示教」上力。

求解与保存

步骤 操作
12 点「求解单应矩阵」
13 看 RMS:< 3 mm 合格;否则看哪一行残差最大,回去重教那一行
14 点「保存为当前视角的标定」

腕部相机的标定流程#

腕部相机装在手上,一份标定只认一个姿态,所以多一步"记录姿态"。

步骤 操作
1 视角切到 wrist → 设备路径(如 /dev/video0)→「连接该视角」
2 把机械臂摆到一个能看清桌面的姿态(俯视标记区域)
3 点 「记录标定姿态」 —— 这一步很重要,下面全靠它
4 检测 → 表格填好像素(注意:切视角会自动清空点表,先切视角再检测)
5 逐个教坐标(同顶部:移臂 → 选中行 →「用当前 TCP」),可以用「示教模式」手扶
6 教完后把机械臂恢复到第 3 步的姿态(提示行会显示「姿态一致 ✅」)
7 求解 → 保存

第 6 步怎么回到那个姿态?提示行里有一整组数值:

text
已记录 11:48:10  x 45.3  y -219.9  z 154.2  pitch 69.9  roll -90.5

把它们填到「末端位姿」页 → 点「移动」。注意那个页面的输入框是目标值,不是实时读数,页面顶部另有一行绿色的"当前:…"。

保存时会把姿态一起写进文件,所以过几天你看到这条 wrist 记录,也知道它属于哪个姿态。

腕部相机为什么不能这样标#

上面这套只对固定相机(顶部)成立。

腕部相机装在手臂上,手臂一动画面就全变了,同一张桌子在不同姿态下的像素完全不一样。所以对腕部相机:

  • 一张固定的单应矩阵只在某个姿态下有效,换个姿态就失效
  • 真正的做法是标定 camera → 法兰(眼在手上),再结合 FK 换算到基座
  • 本页保存 wrist 的 H 只适合"手臂固定不动,用腕部相机看固定区域"的场景

一句话:要抓取,用顶部相机做手眼标定;腕部相机更多是拿来看近处的。

页面上怎么对应#

操作 页面上的动作
取一个点 直接在相机画面上点一下(像素和 TCP 坐标一起记下)
改桌面坐标 直接在表里改 x / y
补填坐标 选中那一行 → 「用当前 TCP 填桌面坐标」
重来 「清空」
求解 「求解单应矩阵」

用 ArUco 标定板#

手点像素的误差是 1–3 个像素,ArUco 检测能到亚像素,所以点位更准,而且不用点得那么小心。

打印标记

python
import cv2
d = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_4X4_50)
for i in range(6):
    img = cv2.aruco.generateImageMarker(d, i, 300)   # 300 px ≈ 40 mm 打印尺寸
    cv2.imwrite(f"marker_{i}.png", img)

要点:

项 建议
字典 4X4_50(自己打印最常用);买了成品板就用板子标注的字典
ID 连续编号 0,1,2…,后面表格里按 ID 对应
尺寸 打印后量一下实际边长(比如 40 mm),记下来
白边 标记四周至少留 10 mm 白边,否则检测不稳

摆放

  1. 贴在桌面上(或打印在一张纸上铺平),和九点法一样要求同一平面、不翘边
  2. 铺开:覆盖工作区,别挤在中间
  3. 方向别全一样:稍微转个角度更好认,也方便检查旋转是否标对
ArUco 检测
任意方形标记

标定板不是标准 ArUco 怎么办

很多标定板(自家打印的、买来的)并不在 OpenCV 那二十几个字典里。这时别去猜字典,直接换:

标记类型 认什么 适合
任意方形标记 只认"四边形 + 黑边 + 内部有图案" 任何板子,不用管它是什么家族
标准 ArUco 必须匹配字典里的图案 自己用 generateImageMarker 打印的

「任意方形标记」的判断条件(就是筛选桌角等误检的规则):

  1. 轮廓是凸四边形,长宽比 0.7–1.4
  2. 透视矫正后,外圈偏暗(标记的黑边)
  3. 内部对比度够(有黑白图案,不是纯色纸片)

代价:没有 ID,也不能给亚像素精度,标记按"从上到下、从左到右"自动编号。对九点标定来说这些都不是问题——反正坐标要你自己教。

页面上怎么用

  1. 视角选 top,连上相机(或用仿真)
  2. 选 标记类型:板子来路不明就选「任意方形标记」;自己打印的标准标记选「标准 ArUco」并选字典
  3. 点 「检测 ArUco 标记」 - 画面上会圈出每个标记并标上 #ID - 表格自动填好 标记 ID 和像素坐标
  4. 教每个标记的桌面坐标: - 把 TCP 移到 0 号标记正上方 → 下降,让 TCP 正对标记中心 - 在表格里选中 #0 那行 → 点「用当前 TCP 填桌面坐标」 - 换下一个标记,重复
  5. 全部填完后点「求解单应矩阵」

检测替你做的是"找像素",桌面坐标仍然要你用 TCP 教一遍——除非你用尺子量出每个标记的位置直接填。如果标记是打印在固定间距的板子上,量一次间距就能推出所有坐标(目前要手动填)。

检测不到怎么办

现象 原因
一个都检测不到 字典选错(换「任意方形标记」试试);标记太小;太糊;画面过曝或太暗
只检测到一部分 标记被遮挡、超出视野、角度太斜
ID 对不上 打印时用了别的字典或别的 ID

页面上的「填入仿真标记」只在仿真里有效,用的是场景内置的已知点位。

怎么判断"太小":看标记在画面里占多少像素。用一个标准 4X4_50 标记贴到真实桌面画面上实测:

标记边长 结果
24 px ✅ 检测到
40 px ✅
100 px ✅

也就是说标准标记 24 像素就够了。如果画面里明显有标记却一个都检测不到,基本可以断定图案不在所选字典里——常见原因:

  • 打印的是甲厂/乙厂的"ArUco 板",用的其实是别的字典(5X5_50、APRILTAG_36h11…)
  • 图片被缩放/重新编码后图案变形
  • 打印时白边被裁掉了

最省事的验证:用前面那段 generateImageMarker 代码重新生成一个 DICT_4X4_50 打印出来,一定能检测到。

互动实验

像素 → 桌面:拖动标定点

单应变换 · 4 点

四个角点定义一张单应矩阵,把桌面坐标映射到像素。拖动任意一个角点,看“估计的网格”怎么歪;四个点自身的残差永远是 0。

真实网格估计网格标定点
4 点残差0.00mm
9 点抽查 RMS0.00mm
最大偏差0.00mm

标定时你点的是桌面上的 4 个已知点;解出来的矩阵一定会穿过这 4 对点——所以 只看 4 个点永远看不出准不准。

要在第 5、6 个点上抽查,才能看出这个矩阵在中间有没有歪。

桌面坐标是 0–400 × 0–300 mm 的示意;真实标定的数值见本章第 4 节。这个实验只演示映射结构,不代表某一台相机的实际误差。

5. 误差从哪来#

实测:一个点标错会怎样#

用 5 个点解单应矩阵:

情况 RMS 各点残差
5 个点都取准 0.0 mm 全 0
第 5 点手点偏了一个多像素 0.52 mm 0.14 ~ 0.94 mm
第 5 点的桌面坐标故意写错 15 mm 5.38 mm 2.4 ~ 9.7 mm

第三行值得注意:错的是第 5 点,但残差最大也正是它(9.7 mm)——残差表能帮你找出哪个点标歪了。

主要误差来源#

来源 量级 怎么缓解
点位取得不准(手点像素) 1–3 像素 → 1–3 mm 放大画面、用标记中心
桌面不平 / 相机倾斜 几 mm 相机尽量垂直向下
镜头畸变 画面边缘最明显 先做内参标定去畸变
物体不在同一高度 偏差 ≈ 高度差 × 离光轴距离 / 相机高度;不一定 1:1 按实际抓取高度重标;只有相机很低或物体离光轴很远时才接近 10 mm/10 mm

最后一条是最容易忽略的:单应矩阵假设所有物体都在那张平面上。物体高 30 mm 不重标,抓取就会系统性偏——这也是课程大纲里 G2 的"失败演示"。

怎么验证#

留 3 个不参与求解的点:

  1. 用它们算出预测坐标,和实测坐标比
  2. 残差 < 3 mm 才算合格(大纲 G2 的验收标准)
  3. 三个点分散在画面不同位置——只测中间一点会高估精度

6. 页面怎么用#

相机标定页
  1. 连接相机(见下面「连接相机」),画面出来后再取点
  2. 选视角:top 俯视 / wrist 腕部
  3. 在画面上点一个点 → 表格里多一行,显示像素坐标
  4. 选中该行 → 点「用当前 TCP 填桌面坐标」(或手动输入 x / y)
  5. 重复 3–4,至少 5 个点(推荐 9 个,铺开)
  6. 点「求解单应矩阵」→ 看 RMS 和每点残差
  7. 残差大就检查对应的点;某一点特别大,多半是它标歪了

连接相机#

页面顶部有「视角」「设备路径」「扫描设备」,下面一排按钮连接 / 断开 / 刷新 / 上传。

两路相机各占一个角色:

角色 装在哪 用来干什么
top 固定在桌面正上方 手眼标定、看物料
wrist 装在腕部,跟着手臂动 近距离看夹爪和抓取目标

先选角色,再填设备路径(例如 /dev/video0),点「连接该视角」。

分辨率:默认按 1280×720 打开。很多摄像头用 OpenCV 默认打开时会掉到 640×480,所以连接时显式设了宽高——状态行里能看到实际值(如 top /dev/video2 1280×720)。分辨率越高,远处的小标记越容易被检测到。

实时画面:连上后画面会自动刷新(约 6–7 帧/秒),不用再点「刷新画面」。切到别的页签会停,回来自动恢复。

亮度 / 伽马:画面过曝会把标记的黑边糊成灰色,检测就难了。卡片上有两个滑块:

控件 范围 效果
亮度 -64 ~ 64 整体明暗,最直接
伽马 100 ~ 500 中间调曲线,越大越亮

实测(同一台相机):亮度 0 时过曝像素 4.7%,调到 -40 后降到 0%,标记黑边重新变清晰。

手动曝光在部分 UVC 相机上不生效(切成手动后整幅画面发黑),所以这里用亮度/伽马压暗,不改曝光时间。示例相机只支持 640×480;默认请求 1280×720,状态行以实际协商值为准。

两路都连上后,状态行会同时显示:

text
top /dev/video2 640×480 | wrist /dev/video0 640×480

切换「视角」下拉,画面就在两路之间切换。

两路可以同时连#

两路相机是各自独立的,可以同时开着:

text
top   /dev/video2 640×480     ← 桌面
wrist /dev/video0 640×480     ← 腕部

状态行会同时显示两路,切换「视角」下拉就切画面。两路各抓各的,互不影响(每路一个后台线程),所以可以一边看腕部对准、一边用桌面的画面取点。

分别标定、分别保存#

标定结果是按角色存的,top 和 wrist 各一份:

  1. 视角选 top → 取点 → 求解 → 点 「保存为当前视角的标定」
  2. 视角切 wrist → 重新取点(腕部画面里的点位和桌面完全不同)→ 求解 → 再保存

保存后「结果」卡下面会列出两份:

视角 保存时间 RMS 点数
top 11-09 10:21 0.52 mm 5 点
wrist 11-09 10:21 1.80 mm 9 点

文件落在:

text
$STARM_HOME/camera_calibration.json     # 默认 ~/.starm/camera_calibration.json

每个角色存一份,内容包括单应矩阵 H、RMS、最大残差、点数、当时用的设备路径和保存时间,还有取点时的原始点对(方便回溯)。

保存的是标定结果,不是视频流。换相机、挪了固定支架、改了分辨率,都要重标。

两台相机怎么区分#

一台相机 = 两个 /dev/videoN

Linux 下每个 USB 相机通常会暴露两个 video 节点:只有编号小的那个能抓图,另一个是元数据节点,打开会失败。所以看到 /dev/video0 ~ video3 时,不要以为有四台相机。

用这条命令按物理设备分组:

bash
v4l2-ctl --list-devices
text
USB HD Camera: USB HD Camera (usb-0000:09:00.3-2):     ← 相机 A
    /dev/video0
    /dev/video1
    /dev/media0

USB HD Camera: USB HD Camera (usb-0000:09:00.4-1):     ← 相机 B
    /dev/video2
    /dev/video3
    /dev/media1

页面上点 「扫描设备」 会做同样的事,并把不能抓图的节点标成"(元数据节点)"。

哪台是顶部、哪台是腕部

两个相机型号一样,只能靠看画面区分:

  1. 两个路径分别连一次(角色随便选),看画面: - 能看到整个桌面、桌子边缘、手臂从上往下 ← 这就是 top - 画面下方有两个夹爪指头、视角贴着桌面 ← 这就是 wrist
  2. 认出来之后把两个都连上,各归各的角色

也可以拔插确认:拔掉腕部相机,看哪个节点消失。

本机实测:/dev/video2 是顶部(俯视桌面),/dev/video0 是腕部(能看到夹爪)。换 USB 口或换电脑后编号可能变,以画面为准。

设备路径写死还是写编号

写法 说明
/dev/video2 明确,但重插 / 换口后编号可能变
2 等价于按编号打开,同样会漂

现在只认设备路径:编号会随插拔漂移,路径至少能一眼看出是哪一路。

打不开相机#

报错 原因 处理
打不开 /dev/video0 设备不存在 / 被占用 / 没权限 ls /dev/video* 看设备;关掉其它预览程序;把用户加进 video 组
一直停在"打开中" 设备被别的进程占着,read() 阻塞 断开重连,或重启服务释放
画面卡住不动 相机被拔出 / USB 供电不稳 重新插拔,重连
两路只出一路 两路填了同一个路径 每路填各自的路径

命令行先验一下更省事:

bash
v4l2-ctl --list-devices
python -c "import cv2; c=cv2.VideoCapture('/dev/video0'); print(c.isOpened())"

仿真里点「填入仿真标记」可以一键填入 4 个已知标记,用来看整个流程;但记住——4 个点没有残差可看。

7. 常见问题#

现象 原因 处理
求解按钮没反应 / 提示点数不足 少于 4 个点 补点
残差全是 0 只有 4 个点 加到 5 个以上再看
某一点残差特别大 这个点标歪了 重取该点
画面抓不到 相机没连 / 被占用 点「连接该视角」;或「上传图片」导入截图
抓取总是偏一个固定方向 物体高度与标定平面不一致 按抓取高度重标,或补偿高度
边缘比中间偏得多 镜头畸变 先做内参标定去畸变

参考#

  • 课程大纲模块 G:G1 相机接入与内参、G2 手眼标定
  • 第 4 章:FK 与 IK —— 机械臂坐标是怎么来的
  • 代码:webapp/server.py 的 solve_homography()(归一化 DLT + SVD)
  • 仿真相机:starm/backends/sim_scene.py 的 render_top_view()