相机标定
配套页面:控制台的「相机标定」页签
1. 两件不同的事:内参和外参#
"相机标定"这个词经常把两件事混在一起,先把它们分开:
| 内参 | 外参(手眼) | |
|---|---|---|
| 回答的问题 | 画面里一个像素对应多大角度? | 像素对应桌面上哪个点? |
| 参数 | 焦距、主点、畸变系数 | 相机相对机械臂的位姿 |
| 怎么标 | 拍棋盘格,用张氏标定法 | 采集若干(像素, 机械臂坐标)对 |
| 换什么要重标 | 换镜头、换分辨率、重新对焦 | 相机挪了位置 |
这一页做的是外参(手眼标定):把像素稳定映射到机械臂的桌面坐标。
2. 眼在手上,还是眼在手外#
| 眼在手上(eye-in-hand) | 眼在手外(eye-to-hand) | |
|---|---|---|
| 相机装哪 | 腕部,跟着手臂动 | 固定在支架 / 桌面上 |
| 标的是 | 相机 → 法兰 | 相机 → 基座 |
| 优点 | 能凑近看细节、不怕遮挡 | 视野稳定、标一次就不动 |
| 缺点 | 每动一次视角就变,标定更麻烦 | 手臂可能挡住视线 |
本页按眼在手外、俯视桌面来做——这也是 SO-101 这类桌面臂最常见的装法。
3. 单应矩阵:把像素变成桌面坐标#
假设物体都在同一个平面(桌面)上,像素 (u, v) 到桌面 (x, y) 就是一个单应变换:
[h11 h12 h13]
[x y 1]ᵀ ~ [h21 h22 h23] · [u v 1]ᵀ
[h31 h32 h33]
展开就是:
x = (h11·u + h12·v + h13) / (h31·u + h32·v + h33)
y = (h21·u + h22·v + h23) / (h31·u + h32·v + h33)
矩阵整体可以缩放,所以自由度是 8。每一对点给出 2 个方程,于是:
4 对点刚好解出 8 个未知数。
重要:4 个点的残差恒为 0#
8 个方程解 8 个未知数——数学上是唯一解,残差必然为零。也就是说:
只取 4 个点,你永远看不出标定准不准。
想评估误差,必须多取点(9 点法)或者留几个点专门做验证。这一页求解时会算每个点的残差,少于 5 个点时那些 0 是没有信息量的。
4. 九点标定怎么做#
这是最经典、也最容易在桌面上实现的做法:
步骤#
- 在桌面上摆 9 个点,铺开成网格,别都挤在一角(分布越开,外推越稳)
- 让 TCP 依次触碰这 9 个点:
- 真机:手动示教,或用「末端位姿」页把 TCP 移到每个点上方再下降
- 每碰到一个点,记下机械臂的
(x, y)——这就是这一点的桌面坐标真值 - 在画面里点同一个点,拿到它的像素坐标
(u, v) - 两列填进「标定点」表:一行一个点
- 点「求解单应矩阵」
标定板怎么放#
九点标定需要桌面上有已知的、能看清的点位。三种做法,从简单到讲究:
| 做法 | 材料 | 适合 |
|---|---|---|
| 打印一张九点图 | A4 纸打印 9 个十字/圆点,贴平在桌面 | 最省事,推荐 |
| ArUco 标定板 | 打印标记,用检测算法自动找中心 | 点位准、可自动 |
| 直接用桌面特征 | 已有的螺丝孔、贴纸角 | 应急,但点位精度差 |
要点:
- 铺开:9 个点尽量覆盖整个工作区,别挤在中间一小块。外推(画面边缘)比内插误差大得多。
- 压在桌面上:纸要贴平,别翘边——单应矩阵假设所有点在同一个平面上。
- 点要看得清:直径 5–10 mm 的实心圆或十字最好,太小在画面里点不准。
- 高度一致:标定用的点应该在实际抓取高度的平面上(通常就是桌面)。
示例:顶部相机下的 3×3 九点标定板。九个标记大致等距、铺满工作区,而不是挤在画面中间。
摆成图中的 3×3 之后,再检查几件事:
- 铺满工作区:九点要覆盖实际抓取会用到的范围,四个角和边缘都要有;只铺中间一小块,边缘外推误差会很大。
- 同一平面、贴平桌面:纸或板不能翘边、不能垫高;单应矩阵只对这一个平面成立。
- 九点都在画面内:顶部相机要完整看到每一个标记,别让画面边缘切掉标记;机械臂/夹爪不要挡住它们。
- 标记别太小、别过曝:图中标记在 640×360 预览里仍能看清;如果发白、发灰,先降亮度(约 -20 ~ -40)再检测。
- 检测后不要再挪板:编号
#1..#9和桌面坐标是一一对应的;挪了就要重新检测、重新教坐标。 - 点数不是死的:至少 5 个点也能解,但 8–9 个点分布更开、残差更可信;九点是最常用的折中。
标记贴在夹爪上,还是贴在桌面上#
这是两种不同的标定方法,都合法,取决于你手上有什么:
| 标记贴桌面(本页的做法) | 标记贴夹爪 | |
|---|---|---|
| 也叫 | 平面标定 / 九点法 | 手眼标定(eye-to-hand) |
| 需要 | 每个标记的桌面坐标真值(用 TCP 教或量) | 相机内参 + 多组姿态 |
| 机械臂动不动 | 只用来"教坐标" | 要动很多次,每次一个姿态 |
| 解什么 | 单应矩阵 H(像素 → 桌面 mm) | 相机相对基座的刚体变换(旋转 + 平移) |
| 能处理不同高度 | 不能(只在标定平面有效) | 能(是完整的 3D 变换) |
所以:顶部相机标定时,标记确实可以固定在夹爪上——那是标准手眼标定(cv2.calibrateHandEye,AX=XB)。它不需要你知道桌面上任何点的坐标,但要求:
- 先做内参标定(不然解不出标记的 3D 位姿)
- 机械臂走 5–10 个姿态差异明显的位置,每个位置记录机器人的 TCP 位姿和标记的相机位姿
- 解出相机→基座的变换
本页目前做的是左边那一列(桌面标记 + 单应矩阵),因为它不需要内参、标一次就能抓平面的东西。要做右边那套(夹爪上贴标记、多姿态),需要先补内参标定和 3D 位姿求解——那是下一步的事。
一句话:板在桌上 → 标"像素到桌面"的平面映射;板在夹爪上 → 标"相机到机械臂"的三维关系。
怎么点:一步一点#
页面的取点可以点一下画面就记一个点,同时自动带上当前 TCP 的坐标(顶部有开关,臂不在点位上时记得取消勾选):
① 让 TCP 停在某个标记点正上方 → 下降,直到 TCP 垂直投影落在标记上
② 在画面里点一下那个标记
→ 表格新增一行:像素 (u,v) 来自点击,(x, y) 自动取当前 TCP
③ 移动 TCP 到下一个点,重复
所以顺序是 先摆臂、再点画面。如果先点了画面又去动臂,那一行的 (x, y) 就对不上了—— 改完记得重新点一下那个点,或者手动改表里的数字。
机械臂没连接时,点画面只会记下像素,(x, y) 要手动填。
顶部相机的标定流程#
顶部相机是固定的,标一次全局有效。
准备
| 步骤 | 操作 |
|---|---|
| 1 | 连接机械臂(真机),确认力矩正常 |
| 2 | 相机页 → 视角 top → 设备路径(如 /dev/video2)→「连接该视角」 |
| 3 | 亮度调到 -20 ~ -40(过曝会让标记发灰,检测不到) |
| 4 | 把标记铺开贴在桌面,覆盖工作区(至少 5 个,推荐 8–9 个) |
取点
| 步骤 | 操作 |
|---|---|
| 5 | 标记类型选「任意方形标记」(标准 ArUco 就选 ArUco + 字典) |
| 6 | 点「检测 ArUco 标记」→ 画面圈出 #1..#N,表格自动填好像素 |
| 7 | 对着画面确认编号和桌面上标记的对应关系(画面上有 #N 标签) |
教坐标(每个点重复)
| 步骤 | 操作 |
|---|---|
| 8 | 用「末端位姿」把 TCP 移到该标记正上方 |
| 9 | 下降 z 到 32–35(几乎贴桌面)——抬太高会有透视偏移 |
| 10 | 微调 x/y,让 TCP 正对标记中心 |
| 11 | 表格里点一下那一行(变蓝)→「用当前 TCP 填桌面坐标」 |
手扶不动?点相机卡片上的 「示教模式」:卸掉力矩,直接用手把 TCP 摆到标记上,再点「用当前 TCP 填桌面坐标」,记完接着摆下一个。用完点「完成示教」上力。
求解与保存
| 步骤 | 操作 |
|---|---|
| 12 | 点「求解单应矩阵」 |
| 13 | 看 RMS:< 3 mm 合格;否则看哪一行残差最大,回去重教那一行 |
| 14 | 点「保存为当前视角的标定」 |
腕部相机的标定流程#
腕部相机装在手上,一份标定只认一个姿态,所以多一步"记录姿态"。
| 步骤 | 操作 |
|---|---|
| 1 | 视角切到 wrist → 设备路径(如 /dev/video0)→「连接该视角」 |
| 2 | 把机械臂摆到一个能看清桌面的姿态(俯视标记区域) |
| 3 | 点 「记录标定姿态」 —— 这一步很重要,下面全靠它 |
| 4 | 检测 → 表格填好像素(注意:切视角会自动清空点表,先切视角再检测) |
| 5 | 逐个教坐标(同顶部:移臂 → 选中行 →「用当前 TCP」),可以用「示教模式」手扶 |
| 6 | 教完后把机械臂恢复到第 3 步的姿态(提示行会显示「姿态一致 ✅」) |
| 7 | 求解 → 保存 |
第 6 步怎么回到那个姿态?提示行里有一整组数值:
已记录 11:48:10 x 45.3 y -219.9 z 154.2 pitch 69.9 roll -90.5
把它们填到「末端位姿」页 → 点「移动」。注意那个页面的输入框是目标值,不是实时读数,页面顶部另有一行绿色的"当前:…"。
保存时会把姿态一起写进文件,所以过几天你看到这条
wrist记录,也知道它属于哪个姿态。
腕部相机为什么不能这样标#
上面这套只对固定相机(顶部)成立。
腕部相机装在手臂上,手臂一动画面就全变了,同一张桌子在不同姿态下的像素完全不一样。所以对腕部相机:
- 一张固定的单应矩阵只在某个姿态下有效,换个姿态就失效
- 真正的做法是标定 camera → 法兰(眼在手上),再结合 FK 换算到基座
- 本页保存
wrist的 H 只适合"手臂固定不动,用腕部相机看固定区域"的场景
一句话:要抓取,用顶部相机做手眼标定;腕部相机更多是拿来看近处的。
页面上怎么对应#
| 操作 | 页面上的动作 |
|---|---|
| 取一个点 | 直接在相机画面上点一下(像素和 TCP 坐标一起记下) |
| 改桌面坐标 | 直接在表里改 x / y |
| 补填坐标 | 选中那一行 → 「用当前 TCP 填桌面坐标」 |
| 重来 | 「清空」 |
| 求解 | 「求解单应矩阵」 |
用 ArUco 标定板#
手点像素的误差是 1–3 个像素,ArUco 检测能到亚像素,所以点位更准,而且不用点得那么小心。
打印标记
import cv2
d = cv2.aruco.getPredefinedDictionary(cv2.aruco.DICT_4X4_50)
for i in range(6):
img = cv2.aruco.generateImageMarker(d, i, 300) # 300 px ≈ 40 mm 打印尺寸
cv2.imwrite(f"marker_{i}.png", img)
要点:
| 项 | 建议 |
|---|---|
| 字典 | 4X4_50(自己打印最常用);买了成品板就用板子标注的字典 |
| ID | 连续编号 0,1,2…,后面表格里按 ID 对应 |
| 尺寸 | 打印后量一下实际边长(比如 40 mm),记下来 |
| 白边 | 标记四周至少留 10 mm 白边,否则检测不稳 |
摆放
- 贴在桌面上(或打印在一张纸上铺平),和九点法一样要求同一平面、不翘边
- 铺开:覆盖工作区,别挤在中间
- 方向别全一样:稍微转个角度更好认,也方便检查旋转是否标对
标定板不是标准 ArUco 怎么办
很多标定板(自家打印的、买来的)并不在 OpenCV 那二十几个字典里。这时别去猜字典,直接换:
| 标记类型 | 认什么 | 适合 |
|---|---|---|
| 任意方形标记 | 只认"四边形 + 黑边 + 内部有图案" | 任何板子,不用管它是什么家族 |
| 标准 ArUco | 必须匹配字典里的图案 | 自己用 generateImageMarker 打印的 |
「任意方形标记」的判断条件(就是筛选桌角等误检的规则):
- 轮廓是凸四边形,长宽比 0.7–1.4
- 透视矫正后,外圈偏暗(标记的黑边)
- 内部对比度够(有黑白图案,不是纯色纸片)
代价:没有 ID,也不能给亚像素精度,标记按"从上到下、从左到右"自动编号。对九点标定来说这些都不是问题——反正坐标要你自己教。
页面上怎么用
- 视角选
top,连上相机(或用仿真) - 选 标记类型:板子来路不明就选「任意方形标记」;自己打印的标准标记选「标准 ArUco」并选字典
- 点 「检测 ArUco 标记」
- 画面上会圈出每个标记并标上
#ID- 表格自动填好 标记 ID 和像素坐标 - 教每个标记的桌面坐标:
- 把 TCP 移到 0 号标记正上方 → 下降,让 TCP 正对标记中心
- 在表格里选中
#0那行 → 点「用当前 TCP 填桌面坐标」 - 换下一个标记,重复 - 全部填完后点「求解单应矩阵」
检测替你做的是"找像素",桌面坐标仍然要你用 TCP 教一遍——除非你用尺子量出每个标记的位置直接填。如果标记是打印在固定间距的板子上,量一次间距就能推出所有坐标(目前要手动填)。
检测不到怎么办
| 现象 | 原因 |
|---|---|
| 一个都检测不到 | 字典选错(换「任意方形标记」试试);标记太小;太糊;画面过曝或太暗 |
| 只检测到一部分 | 标记被遮挡、超出视野、角度太斜 |
| ID 对不上 | 打印时用了别的字典或别的 ID |
页面上的「填入仿真标记」只在仿真里有效,用的是场景内置的已知点位。
怎么判断"太小":看标记在画面里占多少像素。用一个标准 4X4_50 标记贴到真实桌面画面上实测:
| 标记边长 | 结果 |
|---|---|
| 24 px | ✅ 检测到 |
| 40 px | ✅ |
| 100 px | ✅ |
也就是说标准标记 24 像素就够了。如果画面里明显有标记却一个都检测不到,基本可以断定图案不在所选字典里——常见原因:
- 打印的是甲厂/乙厂的"ArUco 板",用的其实是别的字典(
5X5_50、APRILTAG_36h11…) - 图片被缩放/重新编码后图案变形
- 打印时白边被裁掉了
最省事的验证:用前面那段 generateImageMarker 代码重新生成一个 DICT_4X4_50 打印出来,一定能检测到。
5. 误差从哪来#
实测:一个点标错会怎样#
用 5 个点解单应矩阵:
| 情况 | RMS | 各点残差 |
|---|---|---|
| 5 个点都取准 | 0.0 mm | 全 0 |
| 第 5 点手点偏了一个多像素 | 0.52 mm | 0.14 ~ 0.94 mm |
| 第 5 点的桌面坐标故意写错 15 mm | 5.38 mm | 2.4 ~ 9.7 mm |
第三行值得注意:错的是第 5 点,但残差最大也正是它(9.7 mm)——残差表能帮你找出哪个点标歪了。
主要误差来源#
| 来源 | 量级 | 怎么缓解 |
|---|---|---|
| 点位取得不准(手点像素) | 1–3 像素 → 1–3 mm | 放大画面、用标记中心 |
| 桌面不平 / 相机倾斜 | 几 mm | 相机尽量垂直向下 |
| 镜头畸变 | 画面边缘最明显 | 先做内参标定去畸变 |
| 物体不在同一高度 | 偏差 ≈ 高度差 × 离光轴距离 / 相机高度;不一定 1:1 | 按实际抓取高度重标;只有相机很低或物体离光轴很远时才接近 10 mm/10 mm |
最后一条是最容易忽略的:单应矩阵假设所有物体都在那张平面上。物体高 30 mm 不重标,抓取就会系统性偏——这也是课程大纲里 G2 的"失败演示"。
怎么验证#
留 3 个不参与求解的点:
- 用它们算出预测坐标,和实测坐标比
- 残差 < 3 mm 才算合格(大纲 G2 的验收标准)
- 三个点分散在画面不同位置——只测中间一点会高估精度
6. 页面怎么用#
- 连接相机(见下面「连接相机」),画面出来后再取点
- 选视角:
top俯视 /wrist腕部 - 在画面上点一个点 → 表格里多一行,显示像素坐标
- 选中该行 → 点「用当前 TCP 填桌面坐标」(或手动输入 x / y)
- 重复 3–4,至少 5 个点(推荐 9 个,铺开)
- 点「求解单应矩阵」→ 看 RMS 和每点残差
- 残差大就检查对应的点;某一点特别大,多半是它标歪了
连接相机#
页面顶部有「视角」「设备路径」「扫描设备」,下面一排按钮连接 / 断开 / 刷新 / 上传。
两路相机各占一个角色:
| 角色 | 装在哪 | 用来干什么 |
|---|---|---|
top |
固定在桌面正上方 | 手眼标定、看物料 |
wrist |
装在腕部,跟着手臂动 | 近距离看夹爪和抓取目标 |
先选角色,再填设备路径(例如 /dev/video0),点「连接该视角」。
分辨率:默认按 1280×720 打开。很多摄像头用 OpenCV 默认打开时会掉到 640×480,所以连接时显式设了宽高——状态行里能看到实际值(如 top /dev/video2 1280×720)。分辨率越高,远处的小标记越容易被检测到。
实时画面:连上后画面会自动刷新(约 6–7 帧/秒),不用再点「刷新画面」。切到别的页签会停,回来自动恢复。
亮度 / 伽马:画面过曝会把标记的黑边糊成灰色,检测就难了。卡片上有两个滑块:
| 控件 | 范围 | 效果 |
|---|---|---|
| 亮度 | -64 ~ 64 | 整体明暗,最直接 |
| 伽马 | 100 ~ 500 | 中间调曲线,越大越亮 |
实测(同一台相机):亮度 0 时过曝像素 4.7%,调到 -40 后降到 0%,标记黑边重新变清晰。
手动曝光在部分 UVC 相机上不生效(切成手动后整幅画面发黑),所以这里用亮度/伽马压暗,不改曝光时间。示例相机只支持 640×480;默认请求 1280×720,状态行以实际协商值为准。
两路都连上后,状态行会同时显示:
top /dev/video2 640×480 | wrist /dev/video0 640×480
切换「视角」下拉,画面就在两路之间切换。
两路可以同时连#
两路相机是各自独立的,可以同时开着:
top /dev/video2 640×480 ← 桌面
wrist /dev/video0 640×480 ← 腕部
状态行会同时显示两路,切换「视角」下拉就切画面。两路各抓各的,互不影响(每路一个后台线程),所以可以一边看腕部对准、一边用桌面的画面取点。
分别标定、分别保存#
标定结果是按角色存的,top 和 wrist 各一份:
- 视角选
top→ 取点 → 求解 → 点 「保存为当前视角的标定」 - 视角切
wrist→ 重新取点(腕部画面里的点位和桌面完全不同)→ 求解 → 再保存
保存后「结果」卡下面会列出两份:
| 视角 | 保存时间 | RMS | 点数 |
|---|---|---|---|
| top | 11-09 10:21 | 0.52 mm | 5 点 |
| wrist | 11-09 10:21 | 1.80 mm | 9 点 |
文件落在:
$STARM_HOME/camera_calibration.json # 默认 ~/.starm/camera_calibration.json
每个角色存一份,内容包括单应矩阵 H、RMS、最大残差、点数、当时用的设备路径和保存时间,还有取点时的原始点对(方便回溯)。
保存的是标定结果,不是视频流。换相机、挪了固定支架、改了分辨率,都要重标。
两台相机怎么区分#
一台相机 = 两个 /dev/videoN
Linux 下每个 USB 相机通常会暴露两个 video 节点:只有编号小的那个能抓图,另一个是元数据节点,打开会失败。所以看到 /dev/video0 ~ video3 时,不要以为有四台相机。
用这条命令按物理设备分组:
v4l2-ctl --list-devices
USB HD Camera: USB HD Camera (usb-0000:09:00.3-2): ← 相机 A
/dev/video0
/dev/video1
/dev/media0
USB HD Camera: USB HD Camera (usb-0000:09:00.4-1): ← 相机 B
/dev/video2
/dev/video3
/dev/media1
页面上点 「扫描设备」 会做同样的事,并把不能抓图的节点标成"(元数据节点)"。
哪台是顶部、哪台是腕部
两个相机型号一样,只能靠看画面区分:
- 两个路径分别连一次(角色随便选),看画面: - 能看到整个桌面、桌子边缘、手臂从上往下 ← 这就是 top - 画面下方有两个夹爪指头、视角贴着桌面 ← 这就是 wrist
- 认出来之后把两个都连上,各归各的角色
也可以拔插确认:拔掉腕部相机,看哪个节点消失。
本机实测:
/dev/video2是顶部(俯视桌面),/dev/video0是腕部(能看到夹爪)。换 USB 口或换电脑后编号可能变,以画面为准。
设备路径写死还是写编号
| 写法 | 说明 |
|---|---|
/dev/video2 |
明确,但重插 / 换口后编号可能变 |
2 |
等价于按编号打开,同样会漂 |
现在只认设备路径:编号会随插拔漂移,路径至少能一眼看出是哪一路。
打不开相机#
| 报错 | 原因 | 处理 |
|---|---|---|
打不开 /dev/video0 |
设备不存在 / 被占用 / 没权限 | ls /dev/video* 看设备;关掉其它预览程序;把用户加进 video 组 |
| 一直停在"打开中" | 设备被别的进程占着,read() 阻塞 |
断开重连,或重启服务释放 |
| 画面卡住不动 | 相机被拔出 / USB 供电不稳 | 重新插拔,重连 |
| 两路只出一路 | 两路填了同一个路径 | 每路填各自的路径 |
命令行先验一下更省事:
v4l2-ctl --list-devices
python -c "import cv2; c=cv2.VideoCapture('/dev/video0'); print(c.isOpened())"
仿真里点「填入仿真标记」可以一键填入 4 个已知标记,用来看整个流程;但记住——4 个点没有残差可看。
7. 常见问题#
| 现象 | 原因 | 处理 |
|---|---|---|
| 求解按钮没反应 / 提示点数不足 | 少于 4 个点 | 补点 |
| 残差全是 0 | 只有 4 个点 | 加到 5 个以上再看 |
| 某一点残差特别大 | 这个点标歪了 | 重取该点 |
| 画面抓不到 | 相机没连 / 被占用 | 点「连接该视角」;或「上传图片」导入截图 |
| 抓取总是偏一个固定方向 | 物体高度与标定平面不一致 | 按抓取高度重标,或补偿高度 |
| 边缘比中间偏得多 | 镜头畸变 | 先做内参标定去畸变 |
参考#
- 课程大纲模块 G:G1 相机接入与内参、G2 手眼标定
- 第 4 章:FK 与 IK —— 机械臂坐标是怎么来的
- 代码:
webapp/server.py的solve_homography()(归一化 DLT + SVD) - 仿真相机:
starm/backends/sim_scene.py的render_top_view()