多路 RTSP 视频管线与负载调度可执行手册

调研日期：约 2026-10-25（Asia/Shanghai）
定位：站端边缘盒「拉流 → 硬解 → 预处理 → 推理 → 跟踪/规则 → MQTT」分线程管线、路数/分辨率调度、背压与断流重连；对齐网关 BOM A/B/C 三档。
上游衔接：edge-ai-substation-gateway-bom.md、edge-ai-gstreamer-ota-cheatsheet.md、edge-ai-cn-npu-iva-gstreamer.md、edge-ai-mqtt-hardening-offline-buffer.md、edge-ai-board-fps-power-matrix.md、edge-ai-cn-npu-fps-matrix.md、edge-ai-event-schema-acceptance.md、edge-ai-model-signstore-mender-cookbook.md。
多路能力为公开示例/社区量级，非合同保证；精确端到端 FPS 禁止编造，未核到处标 unknown。

0. 一句话结论

解码、推理、NMS/跟踪、MQTT 分线程 + 有界队列；过载时 丢帧保推理，断 MQTT 不堵热路径。路数按 BOM：A=1–2 / B=4–8 / C=16–32，优先 降帧 → ROI → 隔帧推理，再砍路。Zoo / model-only FPS 不进合同；验收只认目标站 端到端 稳定 FPS 与热降频否决项。

1. 管线拓扑（统一逻辑视图）

[国标枪机 RTSP]
      │  TCP 优先；jitterbuffer / latency
      ▼
┌─ 拉流线程池（每路或每组） ─┐
│  rtspsrc / FFmpeg / 厂商 demux │
└──────────────┬──────────────┘
               ▼
┌─ 硬解线程（VPU） ──────────┐
│  H.264/H.265 → NV12/NVMM/CMM │
└──────────────┬──────────────┘
               ▼  有界 decode_q（满则丢最旧）
┌─ 预处理（RGA / BMCV / VPP / PYM）┐
│  letterbox / ROI crop / CSC      │
└──────────────┬──────────────────┘
               ▼  有界 infer_q（满则丢帧保推理）
┌─ 推理线程池（NPU/GPU） ────┐
│  YOLO INT8/FP16；batch 对齐路数或 1 │
└──────────────┬─────────────┘
               ▼
┌─ 后处理 / 跟踪 / 规则 ─────┐
│  NMS → ByteTrack/IoU → 多边形闯入 / PPE 规则 │
└──────────────┬─────────────┘
               ▼  有界 event_q（满则优先丢 telemetry）
┌─ MQTT 异步发布（旁路） ────┐
│  events QoS1；telemetry QoS0；断线本地环缓 │
└────────────────────────────┘

线程边界原则

1.1 与三大粘合层对照

公开多路量级（仅量感，须自测）

不确定或条件不可复现处标 unknown，写入合同前一律改为目标站实测表。

2. 路数与分辨率调度表（对齐 BOM A/B/C）

口径：输入默认 1080p@25 H.265；模型默认 YOLO-n/s 640 INT8；下列为建议工程档位，非厂商 SLA。

2.1 降帧 / ROI / 隔帧推理

调度优先级（电力站端建议）

1. 人身/安监：PPE、闯入（PPE_VIOLATION / PERSON_INTRUSION）— 保 FPS。
2. 烟火：可略低于人员，但禁止长时间饿死。
3. 设备外观：绝缘子/鸟巢/异物 — 可隔帧或巡检式。
4. 预览/OSD 编码：最先降或关掉非必要编码。

3. 背压：有界队列 · 丢帧保推理 · 断流重连

3.1 队列水位（建议默认）

硬规则：任一队列 禁止无界；push 失败只打点，不得 sleep 在解码/NPU 线程等待 MQTT。

3.2 背压联动伪策略

if npu_util > 90% or infer_q > high_watermark for 3s:
    reduce infer_fps on lowest-priority cameras by 1 step
if soc_temp > T_warn:
    disable OSD encode; then cut C-group streams
if mqtt_q_depth > 80%:
    drop telemetry/frames; keep events; never block infer

3.3 断流重连

DeepStream 侧关注 rtsp-reconnect-* 类配置与版本差异；RK/FFmpeg 自管 watchdog 线程。验收：拔网线 5 min 再插，该路恢复且 其他路 FPS 跌落 ≤5%。

4. 资源监控与 telemetry 字段

对齐 MQTT .../telemetry（QoS0，可丢）与 Schema 手册；周期建议 2～5 s。

看板告警建议：soc_temp_c 超阈、drop_infer 持续增长、fps_infer 低于档位基线 30%、任一路 DOWN>60 s。

5. 两周联调清单

第 1 周：单路 → 额定路数

第 2 周：过载 · 故障 · 验收

5.1 联调期最小配置骨架（示意）

以下为逻辑示意，字段名随 SDK 版本变化；上线前以各档官方文档钉死。

DeepStream（B 档 Orin）要点

• 每路 [sourceN]：type=4（RTSP）或 uri；live-source 场景开 live；按需 drop-frame-interval。
• [streammux]：batch-size 等于有效源数；batched-push-timeout 按 33～40 ms 量级起调（unknown 以实测为准）。
• [primary-gie]：batch-size 与 mux 对齐；精度 FP16/INT8 写入《基线》，换 JetPack 必重建 .engine。
• 消息：nvmsgconv → nvmsgbroker（MQTT）；长跑关注断线重连行为，业务侧仍保留本地 event_q。

sophon-stream（C 档）要点

• channels 列表填 RTSP URL；用 sample_interval 做源侧隔帧。
• 前处理 / 推理 / 后处理 element 分别设 thread_number（官方 YOLO 例程常见 4-4-4 量级）。
• 在 blank（或等价）读检测元数据 → 异步入 event_q；禁止在推理 element 内同步网络 IO。
• 监控：bm-smi 看 TPU/设备内存；与 fps_infer 对照，避免「TPU 100% 但队列在涨」的假满载。

RK MPP + RKNN（A/B 档）要点

• 解码回调输出 NV12（注意 stride/高度对齐）→ RGA letterbox → 三 NPU worker 轮询。
• infer_q 全局深度 2～4；满则丢最旧。
• 预览编码与分析争用 RGA/DDR 时，优先关 OSD 或降预览分辨率。
• 温度：thermal_zone*；持续 >80～85 ℃ 量级应触发降级阶梯（具体阈写入机柜热设计，勿抄博客）。

5.2 常见故障速查

6. 硬红线（否决项）

7. 与系列文档的挂钩

8. 许可与引用边界

DeepStream、RKNN、Sophon SDK、GStreamer 插件等许可以各厂商 EULA/SPDX 为准，嵌入发行前过许可台账。第三方多路 Demo（GitHub/博客）FPS 仅作联调启发，不进标书数字。本文不构成性能保证。