边缘视觉工程实录

框是对的,骨架是错的:一个金标测不出的 bug

边缘计算姿态估计TensorRTJetson

姿态模型 91.9 FPS 达标,但压测前埋着一个 bug:NMS 下标用错,框对骨架错,三级金标全过也测不出。人眼看一眼才抓到。

本页目录

YOLO11n-Pose 上板顺利得有点假:导出 30 秒、引擎 8 分钟、三级金标全过、91.9 FPS 超目标 15%——直到渲染出第一帧标注图:框贴在人身上,骨架画在无关位置。

修复后的标注帧:框和骨架都贴合

这一篇的主角不是 92 FPS,是这个 bug。它是"形状合法的语义错误"的完美标本。

bug 长什么样

后处理先把 8400 个候选压成几十个(布尔掩码),再做 NMS。**NMS 返回的是紧凑候选集内的下标(0..N-1),原代码直接拿它当 8400 系的原始下标去切关键点通道。**致命细节是 8400 > N:索引不越界、形状合法、不报错——框走的是候选集内另一条路(对的),骨架取自无关锚点(错的)。程序安静地跑着,画着错误的骨架。

为什么每道自动化验证都通过了

  • 合成自测 PASS:用例是构造的,覆盖角度/迟滞/丢失,不含"NMS 下标映射"这条路径——盲区是构造出来的
  • 三级金标 PASS(整图层 max diff 0.00012 / 锚点级 0.13px / 引擎级 0.4377):对照的全是 NMS 之前的张量,后处理函数根本不在对照范围——盲区是方法学固有的

两个盲区一叠加,只有"渲染一帧人眼看"这道最低技术含量的网兜得住。

怎么定位的:三步,不猜代码

  1. 数像素:画骨架的函数确实改了 3295 个像素——绘制没坏
  2. 对输入:金标的预处理张量与流水线的 max diff 0.003——预处理没坏
  3. 同源对照:同一份输出张量上,顶锚点直读肩点置信度 0.910,走 NMS 路径读到 0.271——差异只能来自路径本身,锁定索引映射

修复一行:anchor_ids = torch.nonzero(keep).squeeze(1),把候选下标映射回原始下标。修复后两条路径逐位一致。

三条教训

  1. 张量级金标 ≠ 全链路验证——后处理函数要有自己的对照(NMS 输出 vs 直读)
  2. 形状合法 ≠ 语义正确——跨集合的索引必须显式映射,越界检查救不了你
  3. 人眼是最后一道网——每换一个模型、每改一段后处理,先渲染一帧标注图看一眼,这步省不掉

顺带交成绩单:图片回放 91.92 FPS(pre 2.05 / infer 5.27 / post 3.39ms),摄像头 720p30 满帧零丢、e2e P50 9.77ms。关节角计数器不到 90 行、开销 0.1-0.2ms;关节角对 letterbox 相似变换不变,直接吃 640 系关键点,连坐标反变换都省了。

环境口径:Jetson Orin Nano Super 8GB / JetPack 6 / TensorRT 10.7 / CUDA 12.6;bus.jpg 为 ultralytics 官方示例图;锁频 1020MHz 满频占比 100%,900 帧,2026-11 实测。