电力边缘 AI：90 天可执行开发路径总览
文档日期：约 2026-10-25（Asia/Shanghai）
定位：把系列调研收成可排期、可验收、可采购的落地路径；数字一律沿用既有矩阵的量级/公开条件，不承诺未核验的端到端 FPS。
主飞书文档：边缘AI开源模型与数据集行业调研
本地全文目录：/workspace/research/edge-ai-*.md
0. 一句话路径
先做 PPE + 烟火站端视觉闭环（可商用冷启动）→ 并行表计/红外 PoC（缺金标准则自采）→ 柜内 AFCI/局放只做「自采 + MCU 原型」，绝不拿视觉 “arc” 或工业振动集冒充一次设备时序。 硬件：站端国产优先 BM1684X / RK3588，巡检 Orin Nano 或 Pi5+Hailo-8L / RDK X5，柜内 STM32N6（轻视觉）/ G4（1D）。中间件：统一 JSON/MQTT Schema + 薄适配器；OTA 推荐 Mender 管系统 + 自建签名模型仓管日更。
1. 目标场景优先级（P0→P3）
| 优先级 | 场景 | 为何现在做 | 90 天目标 | 主依赖附录 |
|---|---|---|---|---|
| P0 | 变电站 PPE / 人员 / 闯入 | Roboflow HardHat、SHWD、变电站 PPE 等冷启动集充足；YOLO-n 在多板有公开量级 | 1 站试点：≥4 路 1080p 拉流→告警 MQTT→抓拍；冻结阈值与防抖 | edge-ai-roboflow-vibration-catalog.md、edge-ai-open-models-datasets-by-industry.md |
| P0 | 烟火 | D-Fire 等可用；与 PPE 同管线复用 | 与 PPE 同盒双任务或分时 stride；误报策略写进配置基线 | 同上 + edge-ai-datasets-and-middleware-catalog.md |
| P1 | 指针/数显表计 | Pose（meter-vision）或 Seg+几何（Gauge-Pointer-Reading / OpenVINO）工程路径清晰；油位金标准空白 | 固定机位 1～2 块表：读数误差与置信度上墙；油位仅做自采小样 | edge-ai-meters-and-thermal-catalog.md |
| P1 | 红外/热成像 | 光伏 InfraredSolarModules（MIT·2 万）最可用；绝缘子/接头大型金标准仍缺 | 光伏或站内接头：分类/粗检 PoC；输电红外列为自采 | 同上 |
| P2 | 巡检资产（绝缘子/导线/鸟巢） | CPLID/MPID/TTPLA 可冷启动；InsPLAD 等 NC 不可商用 | 无人机/机器人单路检测 demo；商用权重必须现场复标 | 行业总表 + Roboflow 电力关键词 |
| P3 | AFCI 电弧波形 / 局部放电 | DC：Fraunhofer（CC BY）、Siemens 16 kHz 可 MCU 起步；AC/开关电弧与现场金标准几乎空白；厂商演示集≠金标准 | 完成采样链与负样本计划；柜内轻量二分类原型；不上站端正式告警 | edge-ai-arc-pd-timeseries-catalog.md |
明确不做（本季）：端侧大模型当主告警源；用 CWRU/IMS/Paderborn 轴承振动冒充电力一次设备；用视觉 PPE「arc」类别当 AFCI；把芯片峰值 TOPS / Zoo model-only FPS 写进合同保证值。
2. 硬件短名单（采购可勾选）
公开数为 model-only 量级，端到端常见再打 0.3～0.7 折；标书 FPS/功耗以《验收协议》实测为准。
| 档位 | 短名单 | 粘合层 | 典型导出 | 适用 |
|---|---|---|---|---|
| 站端多路主机 | 算能 BM1684X（SE7 类） | sophon-stream + blank→MQTT（官方主路径不是 GStreamer） | ONNX→TPU-MLIR→.bmodel |
8～32 路分析首选国产 |
| 站端性价比盒 | RK3588 或 CV186AH / AX650 | RK：mpp+社区 rknn；CV/AX：厂商 Pipeline |
.rknn / .bmodel / .axmodel |
4～8 路盒子 |
| IPC 前端 | 爱芯 AX630C | AX-Pipeline | Pulsar2→.axmodel |
枪机侧轻推理 |
| 巡检主脑 | Orin Nano Super / NX 或 Pi5+Hailo-8L 或 RDK X5 | DeepStream nvinfer / hailonet / TROS |
TRT engine / HEF / .bin |
机器人、少路载荷 |
| 柜内 MCU | STM32N6（轻视觉）/ STM32G4（1D/KWS） | Cube.AI / 裸机 | TFLite/内部格式 | 柜内异音、轻检测、AFCI 原型 |
| 极低成本节点 | ESP32-S3/P4 | SSCMA 等 | INT8 小输入 | 触发式传感，非多路 IVA |
| 暂不进短名单 | 寒武纪 MLU220 边缘线、地平线 J6 站端表 | — | — | 公开 YOLO/功耗缺口大 |
对照提醒：欧洲 Axelera ≠ 国产 爱芯 AXERA；Hailo 官网桌面 Zoo FPS 不可直接搬到树莓派 PCIe×1。
详见：edge-ai-board-fps-power-matrix.md、edge-ai-cn-npu-fps-matrix.md、edge-ai-cn-npu-iva-gstreamer.md。
3. 分阶段里程碑与产出物
3.1 D0–30：基线闭环（能跑、能报、能验收口径）
| 周 | 工作包 | 产出物（可交付） |
|---|---|---|
| W1 | 选定 1 站端板（BM1684X 或 RK3588）+ 1 巡检板（Orin Nano 或 Hailo/X5）；冻结 JetPack/SDK/librknnrt/libsophon 版本表 |
《硬件与 BSP 基线表》v0.1 |
| W1–2 | PPE：公开集冷启动（HardHat/SHWD 等）→ 训练 YOLO-n/YOLOX-n → INT8 导出；禁止未核 SPDX 的权重直接进商用仓 | models/ppe/ + 校准集清单 + SHA256 |
| W2 | 打通 单路 RTSP→解码→推理→NMS→统一 Schema MQTT；适配器薄层（DeepStream nvmsgbroker / sophon blank / RK appsink） |
样例报文 + schema_ver: 1.0.0 |
| W3 | 扩到 ≥4 路；加烟火第二任务或 stride 复用；MQTT 断线不堵推理实验 | 断线实验记录（跌落 ≤5% 为目标口径） |
| W4 | 搭 Mender（或等价）系统 OTA + 签名模型仓（日更只换模型制品）；Balena 仅当团队全容器且接受 AGPL 评估 | OTA 跑通记录：系统镜像 / 模型包分离 |
| W4 | 按验收模板填空表「承诺」列（自测填，不抄 Zoo） | 《端到端验收空表》初稿 |
阶段门禁：4 路稳定拉流；告警可在 Broker 复现；model.ver 与文件哈希一致；公开许可台账已建。
3.2 D31–60：场景加深 + 表计/红外 + 现场数据飞轮
| 周 | 工作包 | 产出物 |
|---|---|---|
| W5–6 | 现场复标：目标站 PPE/闯入 ≥2k～5k 框（或等价视频片段）；INT8 相对 FP 跌落写进报告 | 自有验证集 v1 + 精度表 |
| W5–7 | 表计：指针走 Pose 或 Seg+几何；数显走 SSCMA Swift-YOLO 或 ROI+PP-OCR；固定 1～2 表上墙 | 读数误差报告（光照/俯仰扰动） |
| W6–7 | 红外：光伏用 InfraredSolarModules 冷启动；站内接头/绝缘子 自采计划（角度、负荷、天气） | 红外 PoC 权重 + 自采 SOP |
| W7–8 | 统一 site/bay/cam 配置下发；telemetry（温度/功耗/队列）与 events 分离 | 配置基线表冻结 |
| W8 | 巡检单路资产检测 demo（CPLID/MPID 等 可商用许可子集）；NC 数据仅对照不进仓 | 巡检 demo 包 |
阶段门禁：现场数据占比 > 公开冷启动；表计至少一种类型达「可人工复核」；OTA 回滚演练通过。
3.3 D61–90：试点硬化 + AFCI 原型 + 标书就绪
| 周 | 工作包 | 产出物 |
|---|---|---|
| W9–10 | 满载 N 路 × 30 min：有效 FPS、e2e P50/P95、整机功耗三档、降频曲线 | 《试点性能测试报告》 |
| W10 | 否决项自测：缺真实解码、MQTT 反压、哈希不一致、阈值偷改 → 必须清零 | 否决项勾选清单 |
| W11 | AFCI/PD：Fraunhofer/Siemens 等可许可集做 MCU/网关原型；自采正常工况与逆变器噪声负样本；不接入正式站端告警 | 波形原型仓 + 「非金标准」声明 |
| W11–12 | 标书附件：Schema v1.0、验收协议、硬件短名单、许可台账、风险清单 | 可提交业主的《技术规范附录》 |
| W12 | 复盘缺口：油位、输电红外、开关电弧、一次设备振动 → 写入下季 OKR | 《下一季深挖清单》 |
阶段门禁：至少一个站端硬件档位按验收协议「有条件通过」以上；合同措辞明确「以端到端实测为准，TOPS/Zoo 不得替代」。
3.4 团队分工建议（最小编制）
| 角色 | D0–30 | D31–60 | D61–90 |
|---|---|---|---|
| 边缘平台 | BSP、拉流、粘合层、MQTT 适配器 | 多路性能与降频、OTA 分轨 | 满载验收脚本、否决项清零 |
| 算法 | PPE/烟火冷启动与 INT8 | 现场复标、表计/红外 PoC | 精度跌落分析、AFCI 原型特征 |
| 数据/标注 | 许可台账、公开集清洗 | 站内复标规范与抽检 | 验证集冻结与版本哈希 |
| 产品/售前 | 场景优先级确认 | 配置基线（阈值/防抖/点位） | 标书附录与业主演示脚本 |
| 运维安全 | Broker、证书、日志脱敏 | OTA 签名与回滚演练 | 抓拍保留期与权限 |
一人多岗时可合并「平台+运维」「算法+数据」；不可缺的是许可台账责任人与验收实测责任人。
3.5 每周节奏（务实版）
- 每日：单路冒烟（拉流→推理→一条 MQTT）；失败先查 BSP/模型哈希，再查 Broker。
- 每周三：许可与模型仓审计（新增权重是否有 SPDX）。
- 每周五：当前 N 路稳定性约 1 小时；记录 FPS 中位数与温度，不追求刷榜。
- 双周：对照验收空表更新「实测」列草稿；Zoo 新数字只进调研附录，不进承诺列。
- 门禁：D30 / D60 / D90 各一次，未过门禁不启动下一阶段采购扩容。
4. 数据与许可红线
- 进商用仓前：每条数据集/权重必须有 SPDX 或等价书面许可；Roboflow 页常见「导出才见许可」——未导出确认视为不可商用。
- 硬红线：CC BY-NC / 仅学术 / NC-SA（如部分 InsPLAD、UFPR-ADMR、PV-HSD-2025、nliaudat 表计）→ 只许研究对照，禁止进量产训练与投标演示造假。
- AGPL 雷区：Ultralytics 默认 AGPL；产品分发需商业许可或换 YOLOX / RT-DETR 等 Apache 骨干。Balena/部分工具亦需法务过 AGPL。
- 域红线：工业轴承振动 ≠ 电力一次设备；视觉 “arc” ≠ AFCI 波形；ST/TI 演示集标明非金标准，必须自采负样本。
- 油位 / 输电绝缘子红外 / 电缆接头热故障 / 开关电弧：公开侧接近空白 → 默认自采，勿写「已有开源金标准」。
- 隐私：人员抓拍优先对象存储 URI + 脱敏/保留期；MQTT 内嵌 b64 限体积；日志禁明文密码。
- 制品：模型、校准集、配置基线、
schema_ver四者绑定版本；OTA 只更新签名后的模型包与配置，系统镜像分轨。
台账模板可挂在飞书同文档「许可」节；细目见各 *-catalog.md。
4.1 推荐冷启动数据速查（须再核许可）
| 任务 | 优先公开入口 | 备注 |
|---|---|---|
| 安全帽/PPE | SHWD；Roboflow HardHat 等；Construction-PPE | 导出页确认商用条款 |
| 烟火 | D-Fire | 与站内烟雾误报策略同调 |
| 指针表 | SyncG 合成预训练 + 现场精标；Pose/Seg+几何工程 | 合成不可替代现场 |
| 数显 | Seeed SSCMA Digital Meter；PP-OCR | 拼数在后处理 |
| 光伏红外 | InfraredSolarModules（MIT） | 低分辨率，适分类冷启动 |
| DC 电弧 | Fraunhofer；Siemens 16 kHz；TAMU 实验室大库 | 与视觉 arc 严格分流 |
5. 飞书附录 / 本地文件索引
| 主题 | 本地文件名（飞书多为同名附录追加） |
|---|---|
| 按行业模型与数据 | edge-ai-open-models-datasets-by-industry.md |
| 厂商 Model Zoo 总表 | edge-ai-vendor-chip-models-datasets.md |
| 厂商深挖（ST/ESP/AMD） | edge-ai-vendor-deepdive-st-esp-amd.md |
| 厂商深挖（NV/Intel/Qcom/Coral/Hailo/RK/NXP） | edge-ai-vendor-deepdive-nvidia-intel-qualcomm-coral-hailo-rk-nxp.md |
| 厂商深挖（国产及其他） | edge-ai-vendor-deepdive-cn-others.md |
| 开源平台深挖 | edge-ai-opensource-platforms-deepdive.md |
| 数据集 + 中间件总目录 | edge-ai-datasets-and-middleware-catalog.md |
| 表计 + 电力红外 | edge-ai-meters-and-thermal-catalog.md |
| GStreamer 元素 + OTA | edge-ai-gstreamer-ota-cheatsheet.md |
| Roboflow 电力 + 振动 | edge-ai-roboflow-vibration-catalog.md |
| 电弧时序 + 局放 | edge-ai-arc-pd-timeseries-catalog.md |
| 边缘板 FPS/功耗/导出 | edge-ai-board-fps-power-matrix.md |
| 国产 NPU FPS 补全 | edge-ai-cn-npu-fps-matrix.md |
| 国产 IVA / 非 GStreamer 对照 | edge-ai-cn-npu-iva-gstreamer.md |
| 统一事件 Schema + 验收协议 | edge-ai-event-schema-acceptance.md |
| 本路径总览 | edge-ai-power-dev-roadmap.md |
飞书追加稿另有 *-append.md 镜像，内容与上行全文对应，以 edge-ai-*.md 为准。
6. 风险与下一季深挖
6.1 本季主要风险
| 风险 | 缓解 |
|---|---|
| 把 Zoo model-only FPS 写成合同 | 验收协议强制「含解码+NMS+MQTT」；承诺列自测填写 |
| 国产三强 无官方 GStreamer IVA，团队却按 gst-launch 排期 | 站端默认 sophon-stream / AX-Pipeline / TROS；仅 Jetson/RK 编解码侧押 gst |
| INT8 掉点、校准集不像现场 | 现场光照/雨雾/红外伪彩进校准；必要时 FP16 保底上线 |
| 许可污染导致投标废标 | 许可台账门禁；NC 数据物理隔离研究盘 |
| OTA 只更模型却拖垮 BSP | Mender 系统轨 vs 签名模型仓分轨；引擎/bmodel 与 SDK 大版本绑定重建 |
| AFCI 过早上告警 | P3 仅原型；正式告警等自采金标准与假阳性评估 |
| 多芯片私有 JSON 直连业务 | 一张 Schema，多条适配器；禁止业务绑死厂商字段 |
6.2 下一季（约 Q1）建议深挖
- 油位 / 气体继电器窗：自建 200～2000 张 + 红外液位辅助；评估是否独立小模型。
- 输电绝缘子红外 & 电缆接头：合作供电所小样本 → 半监督/异常检测（anomalib）路线。
- 开关电弧 / AC AFCI 现场集：与继保/试验台共建；与 UL/IEC 试验波形对齐。
- 一次设备振动/超声：自建或行业共享，告别轴承公开集代餐。
- JSON Schema / Protobuf 双栈 + AI 事件 ↔ IEC 61850/CIM 点表映射。
- Sparkplug B 仅运维标量（在线、告警计数、功耗）PoC。
- 抓拍合规：人脸马赛克、保留期、跨境与预签名 URL。
- J6 / 新一代站端 SoC：待公开 YOLO+功耗表再评估进短名单。
7. 执行清单（可贴看板）
- [ ] 硬件短名单下单与 BSP 冻结
- [ ] PPE+烟火 INT8 模型 + 许可台账
- [ ] 统一 Schema MQTT 适配器（至少 1 芯片）
- [ ] ≥4 路试点 + 断线实验
- [ ] Mender + 签名模型仓
- [ ] 现场复标验证集 v1
- [ ] 表计固定机位上墙
- [ ] 红外 PoC 或自采 SOP
- [ ] 30 min 满载性能测试报告
- [ ] 验收空表承诺列 + 标书附录
- [ ] AFCI 原型（非生产告警）
- [ ] 下季深挖 OKR
本文是调研系列的「施工图」：细节数字、元素名、数据集链接以第 5 节索引文件为准；若与公开源冲突，以复测与 SPDX 原文为准。