边缘 AI 芯片厂商开源模型深挖(NVIDIA / Intel / Qualcomm / Coral / Hailo / Rockchip / NXP)
调研日期:约 2026-10-25(Asia/Shanghai)
方法:WebSearch / WebFetch 实证;下列链接均为检索时可打开的官方文档或 GitHub,禁止编造。
结构与此前 ST / ESP / AMD 深挖对齐:对比要点 → 产品线/开发板 → 软件栈 → Model Zoo 细目 → 数据集 → 0 到上板 → 许可与坑 → 电力/工业现成能力。
输出格式约定:engine=TensorRT;IR=OpenVINO;HEF=Hailo;RKNN=Rockchip;TFLite/edgetpu.tflite=Coral;QNN/DLC/LiteRT=Qualcomm。
0. 七家总对比(先看这张表)
把「芯片厂商开源模型」理解成三件事:官方或半官方 Model Zoo 里有什么可下载权重、必须用哪条工具链编成板端格式、换芯片后能不能复用同一文件。结论先说:七家里没有任何一家能做到「一份 ONNX 满 NPU 加速到处跑」;量化校准集、算子白名单、内存带宽都会逼你重新编译并在目标板复测。
和「按行业分类的开源模型」不同,厂商 Zoo 的价值在于:给出可复现的导出脚本、目标芯片上的性能表、以及与解码/推流中间件的粘合方式(例如 DeepStream、RK 硬解、HailoRT)。行业数据集(绝缘子、表计、安全帽)通常仍来自高校或开源社区;厂商侧更多是通用视觉骨干与少量安防/工业专用网。阅读本文时,请同时打开此前《按行业》与《ST/ESP/AMD 深挖》文档对照,避免重复建设。
| 厂商 | 代表硬件 | 主输出格式 | 官方 Zoo / 模型入口 | 工具链开放度 | 边缘 LLM | 电力/工业现成度 |
|---|---|---|---|---|---|---|
| NVIDIA | Jetson Orin / Thor | ONNX→engine | TAO Model Zoo + NGC | 最全(CUDA/TensorRT/DeepStream) | TensorRT Edge-LLM | 最高(行人/交通/OCR/质检专用网) |
| Intel | Core Ultra NPU / 工控 x86 | ONNX→IR | Open Model Zoo(维护模式)+ HF OpenVINO NPU | Apache,跨 CPU/GPU/NPU | NPU INT4/NF4 GenAI | 工控安防、文本检测、本地摘要强 |
| Qualcomm | Snapdragon / QCS / RB | LiteRT / ONNX / QNN DLC | ai-hub-models | 需 AI Hub 账号做云端编译与真机 profile | Qwen3 / Llama / Phi / Whisper 等 | PPE、车牌、ADAS 现成度高 |
| Google Coral | Edge TPU | 量化 TFLite→edgetpu.tflite | coral.ai/models | 编译器免费,算子极严 | 基本无 | 轻量检测 demo;无电力专用 |
| Hailo | Hailo-8/8L/10H | ONNX/TF→HEF | hailo_model_zoo | DFC 需客户区;Zoo 本身 MIT | Hailo-10H + Pi AI HAT+ 2 可 GenAI | 视觉吞吐强,Pi 生态友好 |
| Rockchip | RK3588 / RK3576 | ONNX→RKNN | rknn_model_zoo | Toolkit2 + 丰富 C/Python 例 | Whisper/zipformer 等,非大 LLM 主场 | YOLO+PPOCR 性价比高,国内站端常见 |
| NXP | i.MX / RT / Neutron | TFLite(+ Neutron) | eiq-model-zoo | MIT 食谱式,易回溯训练仓 | MCU/MPU 级 | 工业传感、异音、轻视觉 |
选型一句话:多路视频 + 小生成式 → NVIDIA;产线已有 x86/AI PC → Intel;手机/车载/RB 套件 → Qualcomm;极低功耗演示 → Coral;树莓派性价比视觉 → Hailo;国产多路硬解 → Rockchip;配电终端 MCU → NXP。
1. NVIDIA(Jetson Orin、TAO、NGC、DeepStream、TensorRT Edge-LLM)
1.1 对比要点
NVIDIA 在边缘侧的优势不是「多一个 YOLO」,而是**训练(TAO)→ 部署(TensorRT engine)→ 多路视频编排(DeepStream)→ 端侧 LLM(Edge-LLM)**闭环最完整。Orin Nano Super 公开资料给出最高约 67 TOPS 量级;DeepStream 9.1 发布说明写明支持 Jetson Orin(Nano/NX/AGX)与 Thor,并与 JetPack 7.2 对齐;SDK 包改为 GitHub Releases 分发,容器仍在 NGC。
| 项 | 要点 |
|---|---|
| 算力档 | Orin Nano Super~AGX Orin;Thor 进入 DeepStream 9.1 支持矩阵 |
| 格式 | TAO 导出 ONNX → 板端建 engine;DeepStream 直接消费 |
| Orin LLM 精度 | Edge-LLM 官方矩阵:Orin 仅 FP16 / INT8 / INT4,勿选 FP8/FP4 |
1.2 产品线 / 开发板
- Jetson Orin Nano Super Developer Kit:入门与边缘 LLM 试验常用。
- Orin NX / AGX Orin:多路 IVA、机器人、无人机载荷。
- 软件基线:JetPack;旧 Super Mode 说明见 JetPack 6.2 技术博客;新 DeepStream 跟 JP 7.2。
1.3 软件栈
- TAO Toolkit:剪枝、蒸馏、QAT、AutoML;导出 ONNX;与 DeepStream 集成见官方文档。
- TensorRT:
trtexec或 TAOgen_trt_engine生成设备相关 engine。 - DeepStream:NVIDIA/DeepStream monorepo;9.1 Release Notes。
- TensorRT Edge-LLM:支持矩阵、支持模型。Nano 内存紧时 INT4 建议
--externalize-weights。
1.4 Model Zoo 细目
来源:TAO Model Zoo Overview。三类:Foundation、Purpose-built、Pre-trained backbone。
电力/安监可直接当冷启动的 Purpose-built(名称以官方表为准)
| 模型名 | 用途 | 输出 |
|---|---|---|
| PeopleNet / PeopleNet Transformer v2 | 行人等目标检测 | engine |
| PeopleSegNet / PeopleSemSegFormer | 人实例/语义分割 | engine |
| TrafficCamNet / DashCamNet | 车辆与道路目标 | engine |
| OCDNet + OCRNet | 字符检测 + 识别(铭牌/表显) | engine |
| Optical Inspection / PCB Classification | 工业外观缺陷 | engine |
| Visual ChangeNet(分类/分割) | 变化检测、异常外观 | engine |
| ActionRecognitionNet / BodyPoseNet | 行为与人体姿态 | engine |
| Retail Object Detection | 货架/台面目标(可迁设备部件) | engine |
Foundation 侧还有 Grounding DINO、Mask Grounding DINO、NV-DINOv2、C-RADIOv2、SegIC 等,更偏大板微调与开放词汇。Edge-LLM 则按 HF checkpoint ID 列表导出,不在 TAO CV Zoo 内。
1.5 数据集
专用网在 NVIDIA 自有或授权数据上训练;用户侧冷启动仍用 COCO / Open Images / 自有 KITTI 式标注。工业缺陷强烈建议「预训练 + 现场几百~几千张」而不是直接上线 PeopleNet 类别。
1.6 0 到上板路径
- 刷 JetPack,跑 DeepStream sample(多路解码+推理)。
- 从 NGC 拉 PeopleNet 等 → 本板生成 engine → 改 DeepStream config。
- 有自有数据:TAO 微调 → ONNX → engine → DeepStream 或自研 TensorRT 应用。
- 需要告警中文摘要:Edge-LLM 选 Orin 兼容精度,先测显存与首 token 延迟。
1.7 许可与坑
NGC/TAO/DeepStream 受 NVIDIA 许可约束;部分预训练权重不可直接转售,以当期 EULA 为准。engine 与 GPU 架构绑定,换 Orin 型号也要重建。DeepStream 大版本与 JetPack 必须配对(论坛上已有 JP 7.2 与旧 DS 不兼容案例)。
1.8 电力 / 工业现成能力
七家里现成业务网最多:周界人员→PeopleNet;车辆→TrafficCamNet;表计/铭牌→OCD+OCR;设备外观差异→Visual ChangeNet;产线 PCB→Optical Inspection。无人机巡检绝缘子仍需自有数据,但流水线(DeepStream+TAO)最省集成时间。
实操上,许多人先用 PeopleNet 证明「站端能稳定跑多路」,再把类别换成安全帽/烟火/异物;OCR 链路则先用铭牌样张调 OCD 输入分辨率与阈值阈值。Edge-LLM 不要一上来就上 7B~8B:Orin Nano 更现实的是 INT4 小模型做「检测 JSON → 中文告警句」,视频理解留给更强模组或回传。
2. Intel(OpenVINO、Open Model Zoo、HF OpenVINO、Core Ultra NPU)
2.1 对比要点
Intel 路线适合「机房/站端已经是 x86 或上了 AI PC」:一份 IR 可在 CPU、核显、NPU 间切换。注意:Open Model Zoo 已进入维护模式,新模型主战场转向 OpenVINO Model Hub 与 Hugging Face 上的 OpenVINO 集合。
2.2 产品线 / 开发板
Core Ultra(Series 1/2)笔记本或工控主板;无独立「Jetson 式」模组叙事,强调既有 PC 升级。NPU GenAI 要求见 OpenVINO GenAI on NPU。
2.3 软件栈
OpenVINO Runtime + NNCF 量化 + Optimum Intel 导出 + OpenVINO GenAI。兼容性大表:Supported Models(2026.2),含大量检测、OCR、姿态、LLM 在 CPU/GPU/NPU 上的 passed 记录。
2.4 Model Zoo 细目
经典 OMZ Intel 预训练(仓库仍可下,Apache-2.0):face-detection-*、human-pose-estimation-*、horizontal-text-detection-0001、instance-segmentation-security-*、license-plate-recognition-barrier-0007、gaze-estimation-adas-0002、person/pedestrian 系列等——安防与文本管线很全。
HF「LLMs optimized for NPU」:集合页
常见:Qwen3-8B-int4-cw-ov、Phi-3.5-mini-instruct-int4-cw-ov、Mistral-7B-Instruct-*-int4-cw-ov、DeepSeek-R1-Distill-Qwen-*-ov、LFM2.5-1.2B-Instruct-int4-gq-ov。
导出要求摘要:对称权重量化 --sym;INT4 或 NF4;--group-size -1(通道)或 128(分组);--ratio 1.0。NF4 仅 Core Ultra Series 2 及以后 NPU。
输出:IR(.xml+.bin)或 OV 模型目录。
2.5 数据集
OMZ 模型绑定 COCO、Cityscapes、零售/安防专用集;LLM 用公开指令数据。电力表计必须现场采集,水平文本检测只能当「找字框」前置。
2.6 0 到上板
optimum-cli export openvino -m <HF_ID> --weight-format int4 --sym --ratio 1.0 --group-size -1 out_dir
# 推理 DEVICE=NPU|GPU|CPU;视觉则 ovc/转换器得到 IR 后同样指定设备
2.7 许可与坑
OMZ Apache-2.0;HF 权重跟随原模型。坑:把 OMZ 当「还会猛增新 YOLO」会落空;NPU 对 LLM 图结构敏感;长上下文吃内存;精度要以 NPU 实测为准,不能只看 CPU。
2.8 电力 / 工业现成能力
站端工控机:人脸/人员、姿态、车牌、水平文字检测可快速搭试点;本地告警摘要用 Qwen INT4 on NPU。没有官方绝缘子/电弧 Zoo,缺陷检测需自训或接 Visual 类第三方。
若变电站已有 Windows/Linux 工控机且不想上独立加速卡,OpenVINO 往往是阻力最小的路径:先 CPU 跑通,再打开 NPU,最后用 NNCF 压 INT8/INT4。OMZ 里的 security 分割与文本检测模型适合做「人在画面中 + 找铭牌区域」两段式原型,再替换为现场微调权重。
3. Qualcomm(AI Hub、ai-hub-models、QNN、RB 套件)
3.1 对比要点
Qualcomm 把「可下载资产」和「云端真机编译/测速」绑在一起:GitHub qualcomm/ai-hub-models(BSD-3)+ AI Hub。运行时三选一或组合:LiteRT(TFLite)、ONNX、Qualcomm AI Engine Direct / QNN DLC。IoT 上常见 QCS6490(RB3 Gen 2)、QCS8250(RB5);文档对 RB3 Gen2 明确写了 LiteRT 路径与精度表。
3.2 产品线
手机 Snapdragon 8 系;计算平台 X Elite;IoT Dragonwing RB/IQ;车载 SA 系列。边缘盒子优先看 RB 与 QCS 工业模组。
3.3 软件栈
pip install qai-hub-models-cli # 或完整包 qai_hub_models
qai-hub configure --api_token ...
qai-hub-models models|info|fetch|export|demo
样例 App:ai-hub-apps。NPU/HTP 精度:INT8、INT16、部分 FP16(老芯片 NPU 可能无 FP16)。
3.4 Model Zoo 细目(官方 README 目录节选)
- 检测:YOLOv3~v11、YOLO26、YOLOX、YOLO-World、DETR 族、RF-DETR、RTMDet、PPE-Detection(gear_guard_net)、车牌 LPDM、MediaPipe Face/Hand。
- 分割:DeepLabV3+、YOLOv8/v11/26-Seg、SAM2/SAM3、FastSAM、FFNet、MobileSAM。
- 姿态:MoveNet、YOLOv11-Pose、MediaPipe Pose、HRNetPose、RTMPose。
- 生成式 / 多模态:Qwen3-0.6B/1.7B/4B/8B、Llama-3.2-1B/3B、Phi-3.5/4-Mini、Whisper 全家、EasyOCR/TrOCR、Stable Diffusion。
- 音频:YamNet、Silero-VAD、MeloTTS/PiperTTS 等。
完整列表以仓库 Model Directory 为准。输出按设备选 .tflite / .onnx.zip / .dlc。
3.5 数据集
多数 CV 用 COCO/ImageNet;ASR 用公开语音集;PPE 等为场景化权重。export/evaluate 可在云端 Qualcomm 设备上跑,减少「仿真和真机不一致」。
3.6 0 到上板
浏览目录 → fetch 预编译资产,或 export --target-runtime tflite --precision w8a8 --device "..." → 拷到 RB → 用官方 App/QNN/LiteRT 推理。自行模型走 AI Hub 编译任务。
3.7 许可与坑
仓库 BSD-3,权重 License 各异。坑:芯片与 runtime 组合不对称(例如部分 RB3 路径强调 LiteRT 而非 QNN);云端配额与登录墙;大模型在 IoT 内存上仍紧。
3.8 电力 / 工业现成能力
Gear Guard PPE 最接近变电站安监(帽/防护用具类);车牌与 OCR 可试表计巡检 App;ADAS/BEV 偏车规。电力缺陷、绝缘子仍要自有数据 + AI Hub 再导出。
若团队已有 Android/Linux 应用栈,AI Hub 的价值是「同一配方在多款 Snapdragon/QCS 上出性能表」,方便在手持终端与固定 RB 盒子之间切换。注意预编译资产的 runtime 字段:板子只认 LiteRT 时不要强塞 DLC。
4. Google Coral(Edge TPU、Models、Compiler)
4.1 对比要点
Coral 是「INT8 小模型加速器」教科书:约 4 TOPS,接口简单,只吃编译过的 TFLite。官方自己写明模型多为演示质量,不是生产保证。
4.2 产品线
USB Accelerator、PCIe、Dev Board、Dev Board Micro;常挂树莓派或工控 USB。
4.3 软件栈
TFLite Runtime + libedgetpu / PyCoral。Edge TPU Compiler:Debian x86_64;自 2.1 起 ARM64 主机不再提供本机编译器,建议桌面编译或 Colab。支持多模型 co-compile 共享约 8MB 片上参数缓存,以及 --num_segments 多 TPU 流水线。
4.4 Model Zoo 细目
- Object Detection:SSD MobileNet V1/V2 COCO、SSDLite MobileDet、EfficientDet-Lite0~3x、人脸 SSD。
- 分类:MobileNet、EfficientNet-EdgeTpu、Inception(见 All models 镜像页与 Models)。
- 姿态:Pose estimation(PoseNet、MoveNet)。
输出:*_edgetpu.tflite;未映射算子回落 CPU。
4.5 数据集
ImageNet、COCO、iNaturalist 等;迁移学习教程在 Coral TF 文档中。
4.6 0 到上板
训练或 PTQ → 全整数 TFLite → edgetpu_compiler → 板上 PyCoral。多模型轮询务必看 co-compile 缓存命中,否则反复刷缓存会拖垮帧率。
4.7 许可与坑
示例与许多模型 Apache-2.0。坑:算子白名单极严,现代 YOLO 头/注意力层大量 CPU 回落;EfficientDet-Lite3x 对 USB TPU 有限制;编译器与 runtime 版本要匹配(--min_runtime_version)。
4.8 电力 / 工业现成能力
适合低成本「有没有人/车」试点;无电力专用权重。若 30% 以上算子在 CPU,不如换 Hailo/RK/Jetson。
Coral 仍值得放进培训箱:强制团队走完「量化 → 编译 → 看 mapped ops 日志」的基本功。日志里大量 Mapped to the CPU 时,优先简化后处理与检测头,而不是盲目堆分辨率。
5. Hailo(hailo_model_zoo、HEF、Pi AI Kit / 8 / 10)
5.1 对比要点
Hailo 走「高能效视觉 NPU + 预编译 HEF」。树莓派官方文档把 AI Kit(8L)、AI HAT+(8L/8)、**AI HAT+ 2(10H,可 LLM/VLM)**写进同一页:AI software。AI Kit 已停产,新设计推荐 HAT+ 系列。
5.2 产品线
M.2 / HAT 模组;服务器级 Hailo-10/15。注意架构:社区说明 8L 的 HEF 可在 8 上跑(有性能警告),8 的 HEF 不能在 8L 上跑。
5.3 软件栈
HailoRT + Dataflow Compiler(需客户区)+ hailo_model_zoo(MIT)。命令流:hailomz info/parse/optimize/compile/evaluate。兼容性:Hailo-8/8L → Model Zoo v2.x + DFC v3.x;master 面向 Hailo-10/15。
5.4 Model Zoo 细目
PUBLIC_MODELS.rst 按芯片列:Classification、Object Detection、Segmentation、Depth、Face/Hand、Instance Seg、ASR、Denoising、Low-light 等。另有 HAILO MODELS(内部场景数据 + 重训说明)。
输出:HEF。
5.5 数据集
Public=公开集;Hailo Models=内部集。均提供或指向 retrain 指引。
5.6 0 到上板
Pi5 装 hailo-all 或 hailo-h10-all → 下载匹配架构的 HEF → hailortcli parse-hef/run 或 hailo-apps。自有 ONNX:DFC 量化编译;校准集分布要接近现场。
5.7 许可与坑
Zoo MIT;DFC 与部分二进制工具不在纯开源闭环内。分支选错会直接编不过。GenAI 能力主要看 10H 路线,不要默认 8L 能跑 7B。
5.8 电力 / 工业现成能力
单路/双路变电站枪机 + YOLO HEF 非常合适;HAT+ 2 可加本地摘要。绝缘子/腐蚀仍要重训。相对 Jetson,功耗与单价往往更友好,但工具链登录墙更明显。
采购与研发要提前打通 Hailo 开发者账号,否则只能跑公共 HEF、无法把自研 ONNX 编进片上。分支选错(8/8L 用 master)是新手最高频失败原因;上线前用 hailortcli parse-hef 确认 Architecture 字段与模组一致。
6. Rockchip(rknn_model_zoo、RKNN-Toolkit2、RK3588/3576)
6.1 对比要点
瑞芯微在国内电力/安防边缘盒子市占高:NPU + 多路硬解 比「峰值 TOPS」数字更关键。rknn_model_zoo 明确支持 RK3562/66/68、RK3576、RK3588、RV1126B 等;工具链见 rknn-toolkit2。
6.2 产品线
行业 NVR、门禁、巡检终端常用 3588;3576 为较新中端。板卡厂商多(Radxa、友善等)。
6.3 软件栈
PC 上 Toolkit2 转 RKNN;板端 Runtime / Toolkit-Lite2;Zoo 提供 convert.py 与 build-linux.sh/build-android.sh Demo。版本必须与 NPU 驱动匹配(README 有版本对照表)。
6.4 Model Zoo 细目(官方 README 表)
| 类别 | 模型族 |
|---|---|
| 分类 | MobileNetV2、ResNet50 |
| 检测 | YOLOv5/6/7/8、YOLOv8-OBB、YOLOv10、YOLO11、YOLO26、YOLOX、PPYOLOE、YOLO-World |
| 姿态 | YOLOv8-Pose |
| 分割 | DeepLabV3+、YOLOv5/v8-Seg、PP-LiteSeg、MobileSAM |
| 人脸/车牌 | RetinaFace、LPRNet |
| OCR | PPOCRv4 Det / Rec |
| 语音与其它 | wav2vec2、Whisper、zipformer、YAMNet、mms_tts、CLIP、lite-transformer |
输出:.rknn(转换时写死平台名如 rk3588,dtype i8/fp)。README 给出 3588 上 YOLO11n INT8@640 约 64 FPS(仅模型推理、单核 NPU 配置下的官方表数据)。
6.5 数据集
示例 ONNX 来自 Ultralytics、Paddle、ONNX Model Zoo 等上游;现场电力数据需自备。
6.6 0 到上板
python convert.py ../model/yolo11n.onnx rk3588 i8 ../model/yolo11n_rk3588.rknn
# 板端运行 examples/yolo11 的 Python 或 C Demo
OCR:直接跟 Zoo 里 PPOCR 例程,表计场景改识别字典与裁剪策略。
6.7 许可与坑
Zoo Apache-2.0;Ultralytics YOLO 权重常 AGPL-3.0,商用要单独评估。算子回退 CPU 会让「NPU FPS」名存实亡;多核 NPU 与零拷贝摄像头管线要自己拼。
6.8 电力 / 工业现成能力
YOLO11 + PPOCRv4 是国内站端/巡检最常见开源组合之一;多路相机+硬解适合集控柜。接 CPLID/InsPLAD 等公开绝缘子集微调即可冷启动,无官方电力缺陷权重。
与 Jetson 相比,3588 的优势是单价与供应链,短板是文档分散、算子坑要靠社区 issue 消化。建议固定 Toolkit2 与驱动版本做「黄金镜像」,模型发布流水线里强制记录 rknn 转换参数(平台名、dtype、均值方差、输入布局 NHWC/NCHW),否则现场「同款板子不同固件」会出现神秘掉帧。
7. NXP(eiq-model-zoo、MCUXpresso eiq_examples)
7.1 对比要点
NXP eIQ 面向 MCU 与 MPU 嵌入式,不是 Orin 类「大边缘算力」。eiq-model-zoo 用 MIT 许可的 recipe,把上游模型转成 TFLite,便于追溯可重训源。MCUXpresso 侧有 eiq_examples。
7.2 产品线
i.MX RT(如 RT1170)、i.MX 8M Plus、i.MX 93/95(Neutron NPU)等。配电终端、仪表、传感器网关更贴这一档。
7.3 软件栈
eIQ Toolkit / TFLite(Micro)→ 板上示例;Neutron 目标需 neutron-converter(文档示例含 --target imxrt700 等,以当期 SDK 为准)。Zoo 推荐 Docker 跑 recipe.sh。
7.4 Model Zoo 细目
布局:Domain → Task → Model。
Vision:classification;object-detection(社区/文档可见 YOLOv4-tiny、YOLOv5、YOLOv8、SSDLite-MobileNetV2、NanoDet-M、FastestDet 等,具体板级支持以各模型页为准);pose;semantic/instance seg;face;super-resolution;low-light。
Audio:anomaly detection、command recognition、speech recognition——对工业异音很有启发。
输出:.tflite(MCU 量化;MPU 可走 NPU delegate)。
7.5 数据集
跟随各 recipe 上游(COCO、命令词、异常声音集等)。
7.6 0 到上板
docker build -t nxp-model-zoo .
docker run --rm -v "$PWD:/workspace" nxp-model-zoo /workspace/recipe.sh
# 将生成的 TFLite 放入 MCUXpresso eiq_examples 或自有 eIQ 工程
7.7 许可与坑
Zoo 代码 MIT;权重跟上游。坑:MCU 内存迫使只能 tiny/nano;不要把 8M Plus 的 YOLOv8 期望原样塞进 RT1170;Neutron 转换目标名要与硅片匹配。
7.8 电力 / 工业现成能力
适合 FTU/DTU/开关柜 上的指示灯分类、关键词唤醒、振动/声音异常;主视觉仍建议 MPU 或上位 RK/Jetson。音频 anomaly 任务与局部放电异音、机械故障声监测思路接近,必须现场标定。
eIQ Model Zoo 的 recipe 模式对审计友好:可以精确回答「板上 TFLite 从哪个上游 commit 转出来」。工业认证项目里,这种可追溯性有时比多两个 COCO 类更重要。MCU 方案要同时预算 Flash 中的模型区与 arena,避免只在开发板外扩 RAM 上调通。
8. 跨厂商迁移与格式备忘
| 源模型 | 常见成功路径 | 高风险路径 |
|---|---|---|
| Ultralytics YOLO | ONNX→TensorRT / OpenVINO / RKNN / Hailo DFC / AI Hub | Coral(算子易回落) |
| PaddleOCR | RKNN 官方例;或 OV / TensorRT | 任意 INT8 不校准直接上板 |
| HF 小 LLM | Edge-LLM engine;OV IR;AI Hub;Hailo-10 GenAI | Coral / 多数 MCU |
原则:校准集=现场分布;换芯片=重新量化编译;FPS 宣传值不含前后处理与解码。
9. 电力行业落地组合建议
-
变电站周界(1~2 路枪机)
- 省钱验证:Pi5 + Hailo-8L HEF,或 Coral SSD 看链路
- 国产量产:RK3588 + YOLO11n RKNN + 自有帽/烟火类
- 要现成人检测:Jetson + PeopleNet engine + DeepStream -
表计 / 铭牌
- 首选 RK PPOCRv4 或 NVIDIA OCDNet+OCRNet
- 工控 PC:OpenVINO 文本检测 + 自研识别头
- 手机巡检:Qualcomm EasyOCR/TrOCR 资产 -
无人机巡检
- Orin Nano/NX:检测分割 + 可选 Edge-LLM 摘要
- 载荷极敏感:评估 Hailo/自研小 NPU,勿只看 TOPS -
传感与异音
- NXP eIQ 音频 anomaly;电弧专用现成度更高的是此前 ST 路线,不在本七家内 -
站端小助手
- Orin Edge-LLM,或 Core Ultra NPU + OpenVINO Qwen INT4,或 RB + Qwen3-0.6B/1.7B
- 经验法则:内存与量化格式比标称 TOPS 更容易成为瓶颈
附:调研方法与使用边界(扩写)
本次深挖只收录「芯片供应商自己维护或官方文档明确指向」的模型入口与部署格式,不把民间 Magisk 式第三方仓库当成厂商 Zoo。检索时交叉核对了 GitHub README、厂商文档站与树莓派/NXP 文档;若某页日后改版,以原文为准。链接失效不代表资源不存在,可再用官网搜索模型名(如 PeopleNet、gear_guard_net、PPOCRv4)。
对电力用户,建议把厂商 Zoo 当成加速器与参考管线,而不是「绝缘子缺陷开箱即用」。公开集(CPLID、InsPLAD、TTPLA、安全帽 SHWD、烟火 D-Fire 等)仍要在目标芯片上走完:微调 → 量化 → 板端精度/延迟/功耗三联测 → OTA 与误报抽检。AGPL(常见于 Ultralytics 权重与工具)与 NVIDIA NGC EULA、Qualcomm 各模型 License、Coral 演示免责声明,必须在立项阶段由法务过一遍,避免试点能跑、量产被许可证卡住。
从工程节奏看,可分三浪推进:第一浪用 Coral 或 Pi+Hailo 验证相机与告警通道;第二浪在 RK3588 或 Orin Nano 上锁定主检测模型与 OCR;第三浪再叠加 Edge-LLM / OpenVINO NPU / AI Hub 小模型做告警润色与本地问答。传感与电弧类继续并行评估 ST(此前深挖)与 NXP 音频 anomaly,不必强行塞进视觉 NPU。
跨团队协作时,统一上报字段(设备 ID、模型名与版本、输入分辨率、量化类型、置信度、时间戳、芯片与固件版本)比统一芯片更重要——混部 NVIDIA/RK/Hailo 时,只有事件 schema 一致,后端才能做横向对比与模型灰度。
10. 主要实证链接索引
- TAO Zoo:https://docs.nvidia.com/tao/tao-toolkit/latest/text/model_zoo/overview.html
- DeepStream 9.1:https://docs.nvidia.com/metropolis/deepstream/9.1/text/DS_Release_notes.html
- TensorRT Edge-LLM:https://github.com/NVIDIA/TensorRT-Edge-LLM
- Edge-LLM 支持矩阵:https://nvidia.github.io/TensorRT-Edge-LLM/latest/user_guide/getting_started/support-matrix.html
- Open Model Zoo:https://github.com/openvinotoolkit/open_model_zoo/
- OpenVINO NPU GenAI:https://docs.openvino.ai/2026/openvino-workflow-generative/inference-with-genai/inference-with-genai-on-npu.html
- HF OpenVINO NPU LLMs:https://huggingface.co/collections/OpenVINO/llms-optimized-for-npu
- OpenVINO 验证模型表:https://docs.openvino.ai/2026/documentation/compatibility-and-support/supported-models.html
- Qualcomm AI Hub Models:https://github.com/qualcomm/ai-hub-models
- Coral Models:https://coral.ai/models
- Coral Object Detection:https://coral.ai/models/object-detection/
- Coral Compiler:https://coral.ai/docs/edgetpu/compiler/
- Hailo Model Zoo:https://github.com/hailo-ai/hailo_model_zoo
- Hailo PUBLIC_MODELS:https://github.com/hailo-ai/hailo_model_zoo/blob/master/docs/PUBLIC_MODELS.rst
- Raspberry Pi AI:https://www.raspberrypi.com/documentation/computers/ai.html
- RKNN Model Zoo:https://github.com/airockchip/rknn_model_zoo
- RKNN Toolkit2:https://github.com/airockchip/rknn-toolkit2
- NXP eIQ Model Zoo:https://github.com/NXP/eiq-model-zoo
- MCUXpresso eiq_examples:https://mcuxpresso.nxp.com/mcuxsdk/latest/html/examples/eiq_examples/index.html
本文为芯片厂商深挖第二批(接 ST/ESP/AMD)。下一批建议按开源平台轴继续:Ultralytics、PaddleDetection/PaddleOCR、Hugging Face + Optimum、ONNX Runtime EP、TensorFlow Lite / LiteRT、MediaPipe、OpenCV Zoo、YOLO-World/开放词汇检测等。