边缘 AI 开源平台分类深挖（2026-10）

调研日期：2026-10-25（Asia/Shanghai）
方法：公开文档 / GitHub / 官方站点 Web 检索实证；禁止编造未核实条目
定位：按「开源平台」分类，覆盖模型、数据集、工具链与边缘落地路径；与「按行业」「按芯片厂商」文档互补
说明：文中「字」指汉字正文；表格与 URL 另计

文首：平台选型总表

选型一句话：要最快出 demo → Ultralytics；要闭源商用免 AGPL → Apache 检测系 + ONNX Runtime；要表计中文 OCR → PaddleOCR；要 MCU → LiteRT Micro / Edge Impulse；要站端 Intel → OpenVINO；要机上小 LLM → llama.cpp GGUF。

选型时另有三条实务原则：第一，许可先于精度——电力行业交付物多为闭源嵌入式或私有云，AGPL 与「仅研究/非商用」权重会在合同阶段被卡住；第二，格式中心化——训练框架可以多元，交付统一落到 ONNX（或厂商原生格式），再用板端工具链编译；第三，任务拆分——检测、OCR、异常、语言模型不要塞进同一个巨型端侧模型，分别选型、分别量化、分别做 OTA。

1. Ultralytics YOLO（YOLO11 / YOLO26）

定位与许可

Ultralytics 把检测、分割、姿态、OBB、分类收敛成同一套 CLI/Python API，是目前边缘视觉「最快出活」的平台。文档默认示例已切到 YOLO26；YOLO11 权重与生态仍大量在产线使用。许可为 AGPL-3.0：官方许可页写明，只要使用其代码、架构、训练管线或微调后的权重，就必须把整项目以 AGPL 开源，或购买 Ultralytics Enterprise。嵌入硬件、SaaS、内部业务工具、客户交付均属触发场景；导出成 ONNX/TensorRT 不能免除义务（官方 issue 与第三方合规文均有一致表述）。

核心仓库 / 文档

• 仓库：https://github.com/ultralytics/ultralytics
• 导出：https://docs.ultralytics.com/modes/export
• 许可：https://www.ultralytics.com/license
• Ultralytics HUB 已于 2026-07-31 关停，数据集、云训、浏览器导出迁入 Ultralytics Platform。

可部署芯片生态

YOLO26 官方导出表覆盖：TorchScript、ONNX、OpenVINO、TensorRT、CoreML、Apple Core AI、TF SavedModel/GraphDef、Edge TPU、LiteRT、Paddle、MNN、NCNN、IMX500、RKNN、ExecuTorch、Axelera、DEEPX、Qualcomm QNN、Hailo、Huawei Ascend、AMD Xilinx。基本覆盖 Jetson、Coral、Rockchip、高通、Hailo、索尼 IMX500、昇腾、AMD Vitis 等主流边缘目标。name 参数用于指定 Hailo 架构、RK 芯片名、昇腾 SoC、QNN HTP、Xilinx 器件等。

代表性预训练模型与数据集

预训练家族含 yolo26n/s/m/l/x 及 detect/seg/pose/obb/classify；nano 级参数约数百万量级，适合单路相机。数据集侧默认 COCO；Platform 可导入本地、URL、云存储与 Roboflow；INT8 校准常用 coco8.yaml 或任务自带小集。现场电力数据仍需自建（绝缘子、金具、人员帽、烟火、表计）。

导出 / 量化路径

yolo export model=yolo26n.pt format=onnx quantize=8 data=coco8.yaml
yolo export model=yolo26n.pt format=engine quantize=8
yolo export model=yolo26n.pt format=rknn name=rk3588
yolo export model=yolo26n.pt format=hailo name=hailo8l
yolo export model=yolo26n.pt format=litert

quantize 支持 8/16/32 及部分格式的 w8a16、w8a32；Hailo/IMX/Axelera/Xilinx 等格式往往强制 INT8。另支持 QAT：train(..., quantize=8) 后导出，ranges 写入 checkpoint，官方在 TensorRT 上给出了 YOLO26 各尺寸 PTQ vs QAT 的 mAP 对照（小模型 QAT 收益有限，中大模型更明显）。

电力或工业边缘可用点

线路/变电站视觉巡检、安监（人/帽/烟火）、指针表 pose、导线或油渍分割。开发体验最好，但量产合同前必须过法务。

坑

AGPL 传染面大；静态导出与动态/原生推理对非方形图的 padding 不同会导致阈值漂移；强制 INT8 格式对校准集质量极敏感；HUB 旧链接与 API 失效；官方无独立 C++ 推理 API，C++ 部署需接 ORT/TRT/NCNN 等原生接口。

2. YOLOX / RT-DETR / RF-DETR 等 Apache 检测系

定位与许可

当产品必须闭源交付时，应优先看 Apache-2.0 检测族：

• YOLOX（Megvii）：https://github.com/Megvii-BaseDetection/YOLOX ，Apache-2.0，anchor-free，官方文档支持 MegEngine、ONNX、TensorRT、ncnn、OpenVINO。
• RT-DETR（lyuwenyu / 百度系）：https://github.com/lyuwenyu/RT-DETR ，原仓 Apache-2.0，含 Paddle 与 PyTorch。关键陷阱：经 Ultralytics 包加载的同构权重变为 AGPL-3.0——「同一架构、不同包装、不同义务」。
• RF-DETR（Roboflow）：https://github.com/roboflow/rf-detr 。核心 Nano～Large 为 Apache-2.0，可闭源商用；XL/2XL 与 rfdetr_plus 为 PML 1.0，不可宣传为「全系列免费商用」。官方公开表：N/S/M/L 在 T4+TensorRT FP16 上延迟约 2.3～6.8ms，参数约 30～34M。
• 同许可取向还可对照：DAMO-YOLO、PP-YOLOE、D-FINE 等（以各仓 LICENSE 为准）。

可部署芯片生态

主流路径是 ONNX → 厂商转换器。YOLOX 对 ncnn/OpenVINO 文档较完整；RF-DETR 公开数字偏 GPU/TensorRT；RT-DETR 在 PaddleDetection 有导出与 paddle2onnx 流程（文档强调 onnx/paddle2onnx 版本组合）。

电力或工业可用点

闭源巡检相机、安监边缘盒、需要远距小目标稳定性的场景（可试 RT-DETR-R18）。若接受约 30M 参数换取更高精度，RF-DETR-N/S 是 2025–2026 年讨论度很高的 Apache 选项。

坑

「同名不同许可」；RF-DETR 的 Nano 并非 YOLO 意义上的 2～3M 小模型；Transformer 算子在弱 NPU 上的覆盖常弱于 CNN-YOLO；社区教程大量「用 Ultralytics 跑 RT-DETR」会在不知情中引入 AGPL。

3. ONNX / ONNX Runtime

定位与许可

ONNX 是框架互换格式；ONNX Runtime（ORT）是跨硬件推理引擎，主体 MIT。对电力这种「站端可能同时有 Intel 工控、少量 NVIDIA、偶发高通平板」的环境，ORT 是统一应用层 API 的最佳候选。

核心文档

https://onnxruntime.ai/docs/execution-providers/
https://github.com/microsoft/onnxruntime

Execution Providers（官方表摘要）

• CPU：Default、Intel DNNL、XNNPACK、OpenVINO、TVM(preview)
• GPU：CUDA、TensorRT、DirectML、AMD MIGraphX、OpenVINO、WebGPU
• 移动/边缘：OpenVINO、Qualcomm QNN、Android NNAPI、CoreML、ACL(preview)、Arm NN(preview)
• 其他：Xilinx Vitis-AI(preview)、Rockchip NPU(preview)、Huawei CANN(preview)、Azure(preview)

注册按优先级，例如 ['TensorrtExecutionProvider','CUDAExecutionProvider','CPUExecutionProvider']。发布说明显示 ACL EP 已弃用并将移除；ROCm EP 亦标 deprecated——选型勿再押这两条。

导出 / 量化路径

上游从 Ultralytics、YOLOX、Paddle、Hugging Face Optimum 等导出 .onnx，再由 ORT 直接跑，或继续转 TensorRT/RKNN/HEF。ORT 自身提供动态/静态量化；静态 INT8 必须用代表校准集，且校准分布要贴近现场（电力场景尤其怕「只用 COCO 校准」）。

电力或工业可用点

混部站端统一推理服务；把「模型文件 + EP 列表」做成配置项，便于同一套业务代码适配不同板卡。

坑

preview EP（Rockchip、Vitis）稳定性需自测；插件 EP 与主包版本必须匹配；图中含自定义/稀有算子时会大量回退 CPU，账面上的「NPU 加速」会被拖垮。

4. TensorFlow Lite / LiteRT / TFLite Micro / MediaPipe / Google AI Edge

定位与许可

Google 将端侧运行时品牌收敛到 Google AI Edge：LiteRT 是 TFLite 后继。现有 .tflite 与 Interpreter（v1）API 仍可用，但新功能与性能改进只在 LiteRT；新项目推荐 CompiledModel（v2），强调 GPU 与 NPU（文档点名 Google Tensor、Qualcomm、MediaTek）。Android 依赖改为 com.google.ai.edge.litert:*，Python 为 ai-edge-litert。

LiteRT for Microcontrollers 面向 KB 级内存设备：无需操作系统与动态分配，Cortex-M3 上核心运行时约 16KB 量级；算子为白名单子集，不支持端上训练。
MediaPipe Tasks 提供 Object Detector、Pose Landmarker 等开箱任务，适合快速做安监姿态与轻量检测，而不是从零搭后处理。

核心链接

• https://developers.google.com/edge/litert/overview
• https://developers.google.com/edge/litert/migration
• https://developers.google.com/edge/litert/microcontrollers/overview
• https://developers.google.com/edge/mediapipe/solutions/guide

芯片生态

Android/iOS、Coral Edge TPU（edgetpu.tflite）、支持 delegate 的手机 NPU，以及各类 MCU（Micro 路径）。Ultralytics 已提供 format=litert 与 format=edgetpu。

电力或工业可用点

低成本枪机人员/姿态合规、关键词或异常声事件的 MCU 节点。复杂表计 OCR 仍更建议 Paddle 系。

坑

MCU 算子白名单极窄，YOLO 全家桶进不了 Micro；v1/v2 API 与 Maven 包代际不要混用；Coral 需 Edge TPU Compiler 与代表数据；「能转 tflite」不等于「能全速走 NPU」。

5. PyTorch → ExecuTorch / TorchScript / 量化生态

定位与许可

ExecuTorch 是 PyTorch 官方边缘方案：torch.export → 后端 lowering → .pte，强调与 PyTorch 数值可对齐的 AOT 流程；TorchScript 仍能用，但长期重心已转向 ExecuTorch。量化走 TorchAO PT2E，且按后端配置（XNNPACKQuantizer、CoreML、QNN、NXP 等），不是「一次量化、到处快跑」。

核心链接

https://docs.pytorch.org/executorch/stable/
https://docs.pytorch.org/executorch/stable/quantization-overview.html

XNNPACK 路径典型支持 8bit 对称权 + 非对称激活（静/动态），文档写明暂不支持 weight-only。Ultralytics 亦可 format=executorch。

芯片生态

手机 CPU（XNNPACK）、Apple Neural Engine（CoreML）、高通 Hexagon（QNN）、NXP 等；适合「训练就在 PyTorch、不想绕 ONNX」的团队。

电力或工业可用点

工业加固平板、巡检终端 App 内推理；与 Meta/手机 SoC 工具链绑定深时优先考虑。

坑

换芯片几乎等于重做量化与 lowering；嵌入式 LLM 还需 KV cache、4bit group-wise 等额外技巧；产线案例数量仍少于 ORT+厂商 SDK 组合，问题排查要预留时间。

6. OpenVINO（作为开源部署平台）

定位与许可

Intel 开源推理与优化平台，Apache-2.0。2026.x 文档强化 Core Ultra NPU、GenAI、批量与加密模型部署等能力（社区有 2026.4 发布说明）。对「机房/站端已是 Intel 工控或 AI PC」的电力信息化环境，它往往是默认最优解。

核心链接

• https://docs.openvino.ai/2026/
• NPU：https://docs.openvino.ai/2026/openvino-workflow/running-inference/inference-devices-and-modes/npu-device.html
• Open Model Zoo：https://github.com/openvinotoolkit/open_model_zoo —— 官方已标 legacy / 维护模式，新模型推荐走 Hugging Face 上的 OpenVINO 优化仓。

导出 / 量化路径

ONNX 或 PyTorch / HF Optimum-Intel → NNCF 做 INT8 或权重量化 INT4/NF4 → compile_model(model, "NPU"|"CPU"|"GPU")。LLM 侧用 OpenVINO GenAI 管线。也可作为 ORT 的 OpenVINO EP 被调用。

电力或工业可用点

变电站工控多路视频分析、本地告警摘要小模型、与现有 Windows/Linux 工控软件集成。

坑

非 Intel 硅上收益有限；OMZ 停更勿当最新 Zoo；NPU 驱动与编译器版本要锁定；INT4 LLM 必须用文档推荐的导出配置，随意量化易崩。

7. PaddlePaddle / PaddleOCR / PaddleDetection / PP-YOLOE

定位与许可

飞桨视觉与 OCR 全家桶，主体 Apache-2.0。在中文场景（铭牌、表计、票据）上，开源完整度与移动端模型体积仍是最强档之一。

核心链接

• https://github.com/PaddlePaddle/PaddleOCR
• https://github.com/PaddlePaddle/PaddleDetection
• PaddleX 边缘：https://paddlepaddle.github.io/PaddleX/main/en/pipeline_deploy/edge_deploy.html

代表性模型

公开文档给出的移动端量级示例：PP-OCRv5 mobile_rec ≈16MB、mobile_det ≈4.7MB；PP-OCRv4 mobile_rec ≈11MB、mobile_det ≈4.7MB。检测侧有 PicoDet、PP-YOLOE、以及 PaddleDetection 中的 RT-DETR 配置。PaddleX 提供 Android CPU/GPU 演示路径。

导出路径

Paddle Inference / Paddle-Lite 直出；或 paddle2onnx 后再进 TensorRT、RKNN、OpenVINO。注意版本钉扎（RT-DETR 文档曾点名特定 onnx/paddle2onnx 组合）。

电力或工业可用点

数显表、油位数字、开关柜铭牌、二维码/条码；「检测框定表盘 + OCR 读数」是比纯视觉回归更稳的工程拆分。

坑

与主流 PyTorch 工具链割裂，混合团队学习成本高；部分算子在转换时需替换；中英文文档版本迭代快，以当前 release 为准。

8. MMDetection / OpenMMLab（边缘相关部分）

定位与许可

研究向检测/分割框架，Apache-2.0。边缘能力集中在 MMDeploy：把 MMDet/MMYOLO 等模型编到 TensorRT、ONNX、RKNN 等后端。

核心链接

https://mmdeploy.readthedocs.io/
仓库内可见 detection_rknn-int8_static-320x320.py 等静态 INT8 配置；supported models 文档列出 RKNN 支持子集（如 RetinaNet、YOLOv3、YOLOX、SSD 等，以页面当前列表为准），TensorRT 覆盖更广。

电力或工业可用点

需要旋转框、非常规 Neck/Head、或论文级结构时，在 MMDet 实验，再用 MMDeploy 压测；不适合作为「一周出样机」的首选。

坑

配置组合爆炸；RKNN 支持面显著小于训练侧；工程化、数据管线、导出一键性弱于 Ultralytics。

9. Hugging Face（小模型、GGUF、Optimum、edge 合集）

定位与许可

全球模型与数据集枢纽。许可以单卡模型页为准（Apache、MIT、Llama/Gemma 社区协议、NC 等混杂），不能因为「在 HF 上」就假设可商用。

与边缘相关的关键能力

• Optimum / Optimum-Intel / Optimum-ONNX：把 Transformers 模型导出并量化到 OpenVINO 或 ONNX Runtime（动态/静态 INT8，权重量化可无校准集）。
• Hub 原生托管 GGUF，供 llama.cpp 直接下载。
• 社区持续出现面向端侧的小参数实验合集（数百 M 到 1B 级），部署声明可能覆盖 ExecuTorch、CoreML、Hexagon 等，但必须逐项核验许可与复现脚本。

电力或工业可用点

告警中文摘要（如 Qwen2.5-0.5B/1.5B 等 Apache 小模型）、从 Hub 拉取已导出的 OV/ONNX 视觉骨干做冷启动。

坑

许可陷阱最多的平台；「能下载」≠「能量产」；不同量化脚本导致的数值差要在目标板上回归；数据集卡同样要看许可证与人脸/地理敏感信息。

10. llama.cpp / ggml / GGUF 边缘 LLM

定位与许可

https://github.com/ggml-org/llama.cpp ，MIT。GGUF 是现行权重封装格式；业界叙述上已用 GGUF 替代旧 ggml 二进制作为分发主流。后端覆盖 CPU、CUDA、Metal、Vulkan 等，并提供 llama-cli / llama-server（OpenAI 兼容 API）。

边缘实践（公开资料归纳）

• 树莓派 5：偏 CPU，实用区间多在 约 3～4B 及以下的 Q4_K_M，内存 8GB 更稳妥。
• Jetson：CMake 打开 GGML_CUDA，Orin 架构常用 CMAKE_CUDA_ARCHITECTURES=87，再 --n-gpu-layers 尽量上 GPU。

电力或工业可用点

将检测 JSON（缺陷类型、置信度、位置）整理成中文缺陷说明或工单草稿；弱网/涉密变电站可不上云。务必限制上下文长度，并与视觉进程隔离以防 OOM。

坑

吞吐与云端不可比；量化过低会加重幻觉；长上下文吃内存；不要把多模态大模型硬塞进同一块 Orin Nano 与多路解码抢资源。

11. Edge Impulse / Arduino / TinyML 平台

定位与许可

Edge Impulse 是 商业 TinyML/MLOps 云平台，整体并非「开源平台」；但其工作流大量基于 TFLite 等开技术，导出的嵌入式 SDK/部分组件常以宽松许可交付，生产再分发以企业条款与订阅阶段为准。Arduino 侧可完成采集→训练→导出 Arduino library；与 ST、Nordic 等板级教程成熟。完全开源的对照底座应看 LiteRT for Microcontrollers，以及芯片厂自有 Zoo（另见芯片深挖文档）。

链接

https://docs.edgeimpulse.com/
平台提供面向学习的公开数据集入口；社区有大量 Arduino TinyML 工作坊仓库。

电力或工业可用点

开关柜异响、变压器振动、局放声纹、低功耗传感器节点上的异常分类——功耗与成本敏感的 MCU 档，这是 Linux SBC 方案替代不了的一层。

坑

平台锁定与费用；公开数据偏教学，不能直接当电力质检集；复杂多目标视觉应升级到 RK/Hailo/Jetson；合同需写清模型与数据所有权。

12. anomalib / PatchCore 工业异常

定位与许可

https://github.com/open-edge-platform/anomalib ：工业异常检测算法库，收录 PatchCore 等经典方法，面向实验管理与边缘推理，许可为 Apache-2.0 取向。PatchCore 思路是：只用正常样本构建 patch 特征记忆库，测试时用近邻距离打分并生成异常图——缺陷类别穷举不动时极有价值。

数据与模型

标准基准常用 MVTec AD；骨干默认可见 wide_resnet50_2，也可换 resnet18 / MobileNet 等以适配边缘。现场电力数据：收集充足「正常」可见光或红外即可启动，再人工复核误报。

导出路径

PyTorch 训练 → ONNX / OpenVINO / TensorRT；注意记忆库与检索实现是否被完整导出，有的部署会把 memory bank 单独序列化。

电力或工业可用点

油渍渗漏、未知外观缺陷、设备红外热斑（需做好热像预处理与温度标定）；与有监督 YOLO（已知类别）并行，而不是互相替换。

坑

记忆库体积与检索延迟；光照/角度分布偏移导致误报；边缘必须降骨干与 coreset 比例；「无监督」仍要有正常样本覆盖运维工况。

13. Roboflow Universe / RF100 数据集平台

定位

• Universe（https://universe.roboflow.com/）：海量社区 CV 数据集，许可逐数据集声明，存在可商用与不可商用混杂。
• RF100 / RF100-VL（https://github.com/roboflow/rf100-vl）：跨约 100 个域的检测基准，Apache-2.0 取向的基准发布，可用于监督/半监督/少样本/VLM 评测；可用 rf100vl 工具下载（需 API Key），亦有 Hugging Face 镜像叙述。
• 与 RF-DETR 同公司生态：付费标注/训练平台 ≠ 开源模型 Apache 许可。

电力或工业可用点

用关键词检索 insulator、helmet、fire、gauge、transformer 等公开集做冷启动，再叠加本省现场精标；用 RF100 估自研模型跨域掉点。

坑

标注噪声与类别定义不一致；许可证不合规直接进商用产品有法律风险；下载配额与账号依赖。

14. 其他重要：TVM、NCNN、MNN、OpenCV DNN、DeepSparse

Apache TVM

https://tvm.apache.org/ ——开源 ML 编译器，Python 优先，目标「一次模型、编译到各处」。适合自研加速器或要手写调度的团队；对纯应用交付团队学习曲线陡。

NCNN（Tencent）

https://github.com/Tencent/ncnn ——BSD-3-Clause，移动/嵌入式 C++ 引擎，CPU + Vulkan，预编译覆盖 Android/iOS/HarmonyOS/Linux 等。无厂商 NPU SDK、或只要稳妥 CPU/GPU 时的经典选择；Ultralytics 支持 format=ncnn。

MNN（Alibaba）

https://github.com/alibaba/MNN ——Apache-2.0，阿里内部大规模验证的端侧引擎，文档强调高吞吐与 on-device LLM。国内 Android 产线常见；同样可接 Ultralytics format=mnn。

OpenCV DNN

当应用已经深度依赖 OpenCV 时，可直接读 ONNX 做「够用」的推理；OpenCV 5 方向增强现代 ONNX 图支持。它不是冲榜延迟的引擎，适合原型与后处理同进程场景。

DeepSparse（Neural Magic）

曾主打 CPU 稀疏加速 ONNX；公开信息显示 2025-06-02 起 EOL/弃用，社区版亦非标准 Apache 生产许可。2026 年新项目不应再新建依赖，CPU 推理改看 ORT、OpenVINO 或 llama.cpp。

文末：开源平台 × 芯片 矩阵建议

电力场景压缩清单

1. 法务选型：闭源交付避开 Ultralytics AGPL，改 YOLOX / 原仓 RT-DETR / RF-DETR 核心 / PP-YOLOE。
2. 格式中心：训练随意，交付统一 ONNX，再按板转 TRT/RKNN/HEF/OV。
3. OCR 与检测拆开：框用轻量检测，字用 PaddleOCR mobile。
4. 缺陷难定义：PatchCore/anomalib 做未知异常，已知类再用检测。
5. LLM 只做摘要：0.5B～1.5B GGUF，严控上下文，与视觉隔离。
6. 校准用现场：INT8 校准集必须含目标变电站/线路光照与天气，禁止只用通用 COCO。
7. OTA 与版本：模型版本、EP 列表、量化档写入设备清单，便于审计回滚。

参考入口（本调研主要实证源）

• Ultralytics Export / License / Platform 文档（含 YOLO26 导出格式全表与 QAT 说明）
• onnxruntime.ai Execution Providers 与构建说明
• Google AI Edge：LiteRT 迁移/总览/Micro、MediaPipe Solutions
• ExecuTorch 官方量化与 export 文档
• OpenVINO 2026 文档、NPU 页、OMZ legacy 声明
• PaddleOCR / PaddleDetection / PaddleX 边缘部署文档
• MMDeploy 文档与 RKNN 配置
• YOLOX、lyuwenyu/RT-DETR、roboflow/rf-detr 与 RF-DETR 商业许可说明
• Hugging Face Optimum / GGUF 文档
• ggml-org/llama.cpp、Tencent ncnn、alibaba MNN、Apache TVM
• open-edge-platform/anomalib、Roboflow RF100-VL、Edge Impulse 文档与定价/条款
• Neural Magic DeepSparse EOL 相关公开说明

本文为开源平台向深挖稿；芯片厂商 Zoo 与行业数据见同目录 edge-ai-vendor-*.md、edge-ai-open-models-datasets-by-industry.md。