变电站 / 电力场景可见光 + 红外（双光）融合边缘 AI 手册

调研日期：约 2026-10-25（Asia/Shanghai）
定位：站端双光谱（可见光 VIS + 长波红外 LWIR）相机选型、时空对齐、配准、融合策略、模型路径，以及与 RTSP 管线、证据仓、统一事件 Schema 的衔接。
衔接：edge-ai-multistream-rtsp-scheduling.md、edge-ai-time-sync-ntp-ptp.md、edge-ai-evidence-store-snapshot-retention.md、edge-ai-vlan-network-isolation.md、edge-ai-substation-gateway-bom.md、edge-ai-ppe-smoke-fire-model-shortlist.md、edge-ai-oil-level-thermal-sop.md、edge-ai-meters-and-thermal-catalog.md、edge-ai-event-schema-acceptance.md、edge-ai-d60-d90-acceptance-checklist.md。
温度告警定值以业主规程 / DL/T 664 类细则为准，本文一律标 unknown；厂商未公开端到端 FPS 禁止编造。

0. 一句话结论与红线

结论：试点默认走 L0 分路独立推理 + 事件关联，有稳定外参后再上 L1 框级晚期融合；温度主路径读温度矩阵/SDK，可见光负责定位与外观确认；共用可信 ts（NTP/PTP）与 calib_id，证据仓成对留可见峰帧 + 热图伪彩，MQTT 只带 media_refs。

1. 硬件选型短表

1.1 形态对比

1.2 分辨率 / 帧率 / 接口（选型 checklist，非保证值）

边缘算力注意（两路解码预算）

• 一体双光 = 至少 2 路硬解配额；分体同理。按 BOM：A=1–2 / B=4–8 / C=16–32 路总量计价（见 edge-ai-multistream-rtsp-scheduling.md）。
• 1 套双光占用 2 路：B 档若已跑 4 路可见，再加 2 套双光会顶满——优先 热像降帧 / VIS 隔帧推理 / ROI，勿默认同板上再堆检测模型。
• 热像若另走 USB/千兆专用 SDK 而非 RTSP，仍计入「传感器通道」与 CPU/内存，勿只算 NPU TOPS。
• 端到端 FPS：现场实测；Zoo / 单模型 FPS 不进合同。

公开工具线索（可核验，非站端认证）：OpenCV findHomography / 棋盘角点；社区热–可见叠加标定示例见 openmv-projects thermal-overlay-calibration。双光 RTSP 通道命名因厂而异，以说明书为准。

2. 时空对齐

2.1 共用时间 ts

2.2 外参标定（空间）

calib_id = cam_pair + 日期 + 方法哈希（例：bay3-dualA-20261025-H）。变更预置位、拆装镜头、大幅调焦 → 作废旧 calib。

2.3 视差与安装约束

1. 基线：一体机基线短，优先；分体尽量平行光轴、间距最小化。
2. 工作距：标定距离 ≈ 日常监视距离；近距设备（柜门前）勿套用远场 H。
3. 角度：测温入射角过大（经验 >45° 慎用数值）→ 只作定性或降级。
4. 云台：每预置位独立 calib_id；运动中禁止出定量温升金标准。
5. 视差失败模式：人员/设备在景深剧烈变化时框漂移 → L1 关联加大 IoU/距离容差或退回 L0 仅时间关联。

3. 融合策略分层（模型路径）

分路 vs 早期/晚期（选型口诀）

• 要快上线、要可审计 → L0：每路事件自带 modality，主站/工单侧关联。
• 要降误报（热异常 + 可见确认） → L1：规则如「IR 超阈 且 VIS 对应为刀闸触头 ROI」才升 severity。
• 要端到端融合网络 → L2：先解决标定与成对数据集，再谈量化上板。

推理调度：对齐多路 RTSP——热像可 低 fps 常开阈值，可见光 告警触发补帧 或隔帧；过载丢帧保推理，断 MQTT 不堵。

4. 典型场景

公开冷启动（许可自行核）：光伏红外分类 InfraredSolarModules（MIT，GitHub RaptorMaps）；站内接头/刀闸金标准仍缺 → 自采（见油位/红外 SOP、表计红外目录）。anomalib PatchCore 可用正常热图做辅判，不作唯一依据。

5. Schema 扩展与证据仓

5.1 建议扩展字段（兼容现有 schema_ver 演进）

在统一事件 JSON（edge-ai-event-schema-acceptance.md）上增量，破坏性变更升主版本：

示例片段（联合温升，阈值本身仍为配置项）：

{
  "task": "thermal_dual",
  "modality": "dual",
  "fusion_level": "L1",
  "calib_id": "bay3-dualA-20261025-H",
  "temp_c": { "t_max": null, "t_ref": null, "delta_t": null, "emissivity": 0.95 },
  "roi_thermal": { "bbox": { "x": 0.40, "y": 0.30, "w": 0.08, "h": 0.10, "fmt": "xywh_norm" } },
  "event": { "code": "THERMAL_HOTSPOT", "severity": "medium", "quality": "suspect" },
  "media_refs": [
    { "role": "vis_peak", "path": "frame_peak_vis.jpg" },
    { "role": "lwir_pseudo", "path": "frame_peak_lwir_iron.jpg" },
    { "role": "lwir_raw_meta", "path": "temp_matrix.meta.json" }
  ]
}

注：上例 t_* 为 null 表示「字段占位、定值未写入固件」；实站由规则引擎填入测量值，与业主阈值比较。

5.2 证据仓留存（对齐证据仓手册）

MQTT 只传 media_refs；断链仍本地环形缓冲留证（R5 证据仓红线）。人员脸部默认脱敏副本进飞轮。

6. 两周落地清单 + 验收门禁

6.1 两周计划（可勾选）

第 1 周：通路与标定

• [ ] 选定 1 套一体双光（或短基线分体），ONVIF 发现 + 双 RTSP 拉通
• [ ] 边缘盒接入 AI VLAN；不进保护网（VLAN / BOM）
• [ ] chrony NTP（或 PTP）同步；事件 ts_utc 与 clock_quality 上报
• [ ] 固化 1～2 个预置位；完成 Homography，生成 calib_id
• [ ] L0：VIS 一路检测冒烟 + IR 温度矩阵/ROI 阈值冒烟（阈值先占位 unknown）
• [ ] 证据仓目录写入 VIS 峰帧 + 热伪彩 + meta.json

第 2 周：关联与门禁

• [ ] L0 事件关联（同 bay/part + ts 窗）；可选 L1 框投影 + IoU 规则
• [ ] Schema 带 modality / temp_c / calib_id / media_refs
• [ ] 采正常基线热图 ≥50/部位；干扰负样本（阳光、人体入画）一批
• [ ] 与多路调度联调：双光计入 2 路解码；过载丢帧策略验证
• [ ] 对照 D60 条目做桌面走查；准备 D90 现场抽检脚本

6.2 可勾选验收门禁（对齐 D60/D90）

7. 与既有文档衔接一览

8. 诚实边界

• 站端温度定值、相对温差分级、是否允许某部位在线测温：unknown，以业主规程为准。
• 具体枪机/球机双光 FPS、热像核心分辨率、RTSP path：以招标型号说明书为准，本文不编造。
• 输电绝缘子 / 站内接头大型双光金标准公开侧仍不足；商用以自有台账 + 许可清晰的冷启动集为限。
• L2 融合网络论文很多，不等于站端可维护交付件；无成对标定与保留策略勿上生产。

文档版本：2026-10-25 · 仅本地调研落盘 · 不替代安规与保护设计