边缘 AI:按芯片供应商整理的开源模型与数据集
调研日期:约 2026-10-25(Asia/Shanghai)
说明:以下链接均经公开网页检索核实;仅收录能公开访问的 Model Zoo / 官方示例。厂商「免费可下」≠「权重完全开源」,商用前务必核对许可。宁缺勿滥:搜不到稳定公开入口的条目不硬写。
文首:按厂商找模型时要注意什么
- 工具链绑定:多数 Zoo 产出厂商专有格式——STM32Cube.AI 生成的 C 库、ESP-DL 组件、RKNN、Hailo HEF、Qualcomm QNN、Coral Edge TPU
.tflite、TensorRT engine 等。换芯片通常要重新量化与编译,不能指望「一份 ONNX 到处跑满加速」。 - 算子支持面:NPU/TPU 只加速子集算子;不支持的子图会回退 CPU,延迟和功耗会明显偏离宣传 TOPS。选型前用官方 benchmark 或板端
benchmark_app/ 厂商工具实测。 - 许可分层:GitHub 上的转换脚本常见 Apache-2.0 / MIT;权重可能是 NVIDIA Open Model License、厂商专有、或「仅非商用」。上游若为 AGPL(部分 YOLO 发行),商用要单独评估。
- 是否「真开源权重」:有的 Zoo 只给导出流程 + 网盘 ONNX;有的给预编译二进制但训练脚本闭源(如部分唤醒词);NanoEdge AI Studio 输出预编译
.a,不是可再训练源码模型。 - 数据集现实:厂商 Zoo 多锚定 COCO、ImageNet、CIFAR、Google Speech Commands 或自带 demo 图。行业现场(电力巡检、产线缺陷)仍需自采标注;公开集只适合冷启动。
1. STMicroelectronics(ST)
平台 / 工具链:STM32Cube.AI 与 X-CUBE-AI(纳入 ST Edge AI Suite)把 Keras、TFLite、ONNX 转为 STM32 优化 C 代码,并可把算子调度到 Neural-ART NPU。NanoEdge AI Studio 面向传感器时序异常检测,生成预编译嵌入式库,适合振动/电流等「少样本」场景。
开源模型 / Model Zoo
- STMicroelectronics/stm32ai-modelzoo:官方称 140+ 参考模型,覆盖图像分类、目标检测(含 ST_YOLO、YOLOv8、YOLO11)、姿态、语义/实例分割、深度估计、风格迁移、ReID、人脸检测、音频事件检测(AED)、语音增强、人体活动识别(HAR)、手势、电弧故障(AFCI)等;支持 PyTorch / TensorFlow / ONNX。产品页:stm32ai.st.com/model-zoo
- stm32ai-modelzoo-services:再训练、量化、评测、板端部署与应用代码生成
- Hugging Face 看板:STMicroelectronics/stm32-modelzoo-app
- NanoEdge 相关开源示例(非 Studio 本体):stm32ai-nanoedge-datalogger、振动异常检测
数据集或官方 Demo 数据:Zoo 与 services 提供参考数据集配置与板端评测流程;具体类别依赖各 use-case 文档。工业时序多用自采日志。
边缘落地提示:纯 MCU 看 STM32U5/H7;要 NPU 优先 STM32N6(如 N6570-DK);MPU 路线可结合 X-LINUX-AI 与 STM32MP2。先在 ST Edge AI Developer Cloud 或本地 STEdgeAI 做算力/内存估算再买板。
2. Espressif(乐鑫 / ESP)
平台 / 工具链:ESP-DL 是面向 ESP32 系列的推理库;ESP-WHO 在其上做视觉整机示例;ESP-SR 提供音频前端、唤醒、VAD、命令词与 TTS。模型多以 ESP-IDF Component 形式发布,可用 Component Registry 拉取。
开源模型 / Model Zoo
- esp-dl/models(目录说明见 models/README.md):YOLO26、COCO Detect/Pose/Seg(YOLO11n)、人脸检测/识别、猫/狗/手检测与手势、行人、ImageNet MobileNetV2、Speaker Verification、Person ReID、PP-OCR v6 tiny、运动/颜色检测等;芯片多为 ESP32-S3 / S31 / P4
- espressif/esp-who:人脸、行人、二维码等异步相机示例
- espressif/esp-sr:WakeNet / MultiNet 等;模型经 menuconfig 写入分区。注意:语音模型多为二进制组件,训练权重不完全开源
数据集:视觉示例多基于 COCO 或厂商自采;语音为官方唤醒词/命令词包。自研 ASR 可另接 Common Voice 等。
边缘落地提示:ESP32-S3 性价比视觉入门;ESP32-P4 更适合 OCR/较重视觉;无 PIE 的 C3/C5/C6 等可关注 WakeNet10s。Flash/PSRAM 布局要在 menuconfig 里与模型存放位置一致。
3. AMD(含原 Xilinx)
平台 / 工具链:Vitis AI 服务自适应 SoC 与加速卡上的 DPU;Ryzen AI Software 通过 ONNX Runtime 的 Vitis AI Execution Provider 把量化 ONNX 图切到 PC 端 NPU,不支持的算子回退 CPU,并可与 DirectML(iGPU)流水线。
开源模型 / Model Zoo
- Xilinx/Vitis-AI model_zoo:经典视觉与检测模型列表与下载脚本;含非商用协议说明
- amd/RyzenAI-SW(MIT):ResNet 入门、LLM/VLM、RAG、benchmark 等
- Hugging Face:amd collections(Ryzen AI NPU LLM、Hybrid 等预量化 ONNX)
- 文档:Ryzen AI Developer Guide、算子兼容性
数据集:CNN 示例常用 ImageNet;检测示例对齐 COCO 等。LLM 许可见各模型卡。
边缘落地提示:消费级 PC 选带 Ryzen AI NPU 的处理器;嵌入式/板卡看 Versal、Zynq UltraScale+(ZCU102/104、KV260)。上 NPU 前必须完成 INT8/BF16 等量化。
4. NVIDIA
平台 / 工具链:TAO Toolkit 做迁移学习、剪枝与量化,导出后经 TensorRT / DeepStream 部署到 Jetson。预训练权重集中在 NGC Catalog。
可公开下载的预训练(许可逐模型核对)
- 文档总览:TAO Model Zoo Overview(PeopleNet、TrafficCamNet、PeopleSegNet、BodyPoseNet、ActionRecognition、Retail/PCB、OCR 等)
- NGC 示例:PeopleNet、TrafficCamNet
- 多款目的模型页面声明 NVIDIA Open Model License(以当时 NGC 文本为准);TAO 工具链本身偏专有,但可导出开放部署格式
数据集:TAO 指定 COCO、KITTI 或自定义 TFRecords/KITTI 式标注;NGC 常提供 trainable / deployable 包。
边缘落地提示:Jetson Orin Nano / NX / AGX;多路视频优先 DeepStream。下载需 NGC 账号;加密训练包注意密钥说明。
5. Intel
平台 / 工具链:OpenVINO 统一部署到 CPU、核显与 NPU。历史 Open Model Zoo 已进入维护模式,官方推荐转向 Hugging Face 上的 OpenVINO IR 优化模型。
开源模型
- openvinotoolkit/open_model_zoo(Apache-2.0):Intel 预训练(人脸、行人、姿态、OCR、情感、BERT-QA 等)+ 公共模型下载/转换与 C++/Python demos
- 弃用说明:Model Zoo docs
- Hugging Face OpenVINO collections:含视觉与 INT4 LLM 等
数据集:OMZ demos 自带样例媒体;训练数据指向各公共基准。
边缘落地提示:酷睿 Ultra NPU、工控 x86 盒子;先用 benchmark_app 对比 CPU/GPU/NPU,再决定 INT8 策略。
6. Qualcomm
平台 / 工具链:Qualcomm AI Hub(及 Workbench)把模型优化到 QNN / TFLite / ONNX Runtime;设备侧历史栈含 SNPE,现主流为 QNN。
开源模型
- qualcomm/ai-hub-models(BSD-3):面向骁龙设备的可导出模型集合、评测与部署资产获取;文档 AI Hub docs
- 设备/示例参考:qualcomm/qidk
数据集:随模型卡指定公开基准;Hub 重点是「已针对高通硬件优化的权重与导出路径」,而非自建行业数据集。
边缘落地提示:Snapdragon 手机与 IoT 模组、RB 系列开发套件。云端编译产物要与板端 QNN/AI Engine 版本匹配。
7. Google / Coral
平台 / 工具链:标准 TensorFlow Lite 模型经 Edge TPU Compiler 编译后,由 libedgetpu 在 Coral 设备上加速。
开源模型
- 官方目录:coral.ai/models——图像分类、目标检测、语义分割、人体姿态、音频分类;提供 Edge TPU 与 CPU 版及标签文件
- google-coral/test_data:预编译测试权重
- google-coral/examples-camera:相机流水线与模型下载脚本
数据集:标签与演示图随模型包;自训常用 ImageNet/COCO 再 compile。
边缘落地提示:USB Accelerator、Dev Board、以及树莓派 + Coral。仅 已编译的 Edge TPU TFLite 可加速;换骨干或新算子必须重新编译。
8. Hailo
平台 / 工具链:Hailo Dataflow Compiler 生成 .hef,运行时用 HailoRT。树莓派官方 AI Kit 即基于 Hailo-8L。
开源模型
- hailo-ai/hailo_model_zoo(MIT):公开 ONNX/TF 权重、预编译 HEF、评测与再训练流程;模型清单见 PUBLIC_MODELS.rst
- Hailo-8/8L 与较新 Hailo-10 系列可能分属不同分支/tag,按仓库说明选择
数据集:公开模型对齐 COCO、Cityscapes 等;Zoo 提供评测入口。行业数据需自备后走再训练/量化流程。
边缘落地提示:Hailo-8L(Pi AI Kit)、Hailo-8 M.2。HEF 与编译器、固件版本强绑定,升级工具链后要回归。
9. Rockchip(瑞芯微)
平台 / 工具链:PC 端 RKNN-Toolkit2 将 ONNX/TF 等转为 RKNN;板端 rknpu2 推理。Model Zoo 同时给 Python 与 C Demo。
开源模型
- airockchip/rknn_model_zoo(Apache-2.0):分类(MobileNet/ResNet)、检测(YOLOv5~v11、yolo26、YOLOX、PP-YOLOE 等)、分割、姿态、RetinaFace、车牌 LPRNet、PPOCR、CLIP、Whisper、wav2vec2、TTS 等
- 工具链文档入口:airockchip/rknn-toolkit2
- 部分权重经 README 中的网盘链接分发(需密钥)
数据集:各 demo 附推理样例;训练数据回指 Ultralytics、PaddleOCR、Hugging Face 等上游。
边缘落地提示:RK3588(多路硬解 + NPU)、RK3576/356x、RV1106 等。务必让 Model Zoo 大版本与 RKNPU SDK(如 2.5.x)对齐,否则精度/性能可能异常。
10. NXP
平台 / 工具链:eIQ 机器学习软件(含 TensorFlow Lite Micro、部分型号 Neutron NPU 加速)集成进 MCUXpresso SDK。
开源模型
- NXP/eiq-model-zoo:按视觉/音频等领域组织的预训练与 TFLite 转换示例
- nxp-mcuxpresso/mcuxsdk-examples 的 eiq_examples:tflm_cifar10、tflm_kws、tflm_label_image 等可直接上板
数据集:CIFAR-10、关键词唤醒(Google Speech Commands 类)、标签图像 demo 集。
边缘落地提示:i.MX RT、i.MX 9、MCX 等带 NPU/Ethos-U 的型号;先跑通 SDK 官方 eiq 例程再替换自有模型。
11. 其他搜到的重要公开资源
| 厂商 | 公开入口 | 备注 |
|---|---|---|
| Arm Ethos-U | ARM-software/ML-zoo | 仓库已归档,仍含异常检测、分类、KWS、降噪、VWW 等 TFLite,可作起点 |
| Silicon Labs | mltk、machine_learning_applications | TinyML 基准与应用 |
| Nordic | nrfconnect/sdk-edge-ai | nRF54 系列 Axon NPU、MLPerf Tiny 等 |
| Himax | himax_tflm、WE_I_Plus_User_Examples;Seeed sscma-model-zoo | WiseEye / WE-I 超低功耗视觉 |
| Imagination | PaddlePaddle_Model_zoo | PowerVR GPU/NNA 部署示例 |
| Sophgo / 算能 | sophon-demo、LLM-TPU | 独立 model-zoo 仓库曾下线,现多随 SDK 包或 demo 仓库提供 |
| Horizon / 地平线 | HorizonRobotics-Platform/ModelZoo、OpenExplorer | 浮点/QAT 转换样例,偏车载与边缘 SoC |
总表
| 供应商 | Model Zoo 链接 | 典型芯片 | 适合场景 |
|---|---|---|---|
| ST | stm32ai-modelzoo | STM32N6、U5/H7、MP2 | MCU 视觉/音频/时序、电弧与振动 |
| Espressif | esp-dl/models | ESP32-S3 / P4 | AIoT 相机、唤醒词、低成本视觉 |
| AMD | Vitis-AI zoo + HF amd | Ryzen AI NPU、Versal/ZU+ | PC NPU、FPGA/SoC 加速 |
| NVIDIA | TAO Zoo / NGC | Jetson Orin | 多路视频、机器人、安防 |
| Intel | Open Model Zoo / HF OpenVINO | Core Ultra NPU、x86 | 工控、零售、端侧 LLM IR |
| Qualcomm | ai-hub-models | Snapdragon | 手机/IoT、端侧多模态 |
| Google Coral | coral.ai/models | Edge TPU | USB/Pi 加速、教学与轻检测 |
| Hailo | hailo_model_zoo | Hailo-8/8L/10 | Pi AI Kit、高性价比检测 |
| Rockchip | rknn_model_zoo | RK3588/3576/356x | 多路硬解 + NPU 盒子 |
| NXP | eiq-model-zoo | i.MX RT/9、MCX | 工业 MCU/MPU TinyML |
| Arm Ethos-U | ML-zoo(归档) | Ethos-U55/65 | 关键词、VWW |
| SiLabs / Nordic / Himax | 见上文仓库 | EFR / nRF54 / WE-I | 传感器与超低功耗视觉 |
| Sophgo / Horizon | sophon-demo / Horizon ModelZoo | TPU / 征程系列 | 国产板卡视觉与车载 |
使用建议(简)
- 先锁芯片再进对应 Zoo:同一 YOLO 在 ST、ESP、RK、Hailo 上的量化图、后处理与内存布局都不同。
- MCU 路线:ST Model Zoo 或 ESP-DL + ESP-SR;传感器异常可评估 NanoEdge(生成库闭源)。
- Linux SBC:按算力与生态在 RKNN、Hailo、Coral、Jetson 间权衡。
- PC NPU:Ryzen AI 的 HF 合集或 OpenVINO HF IR。
- 许可:上线前阅读各仓库 LICENSE 与 NGC/HF 模型卡;本文不构成法律意见。
链接如失效,请以各厂商 GitHub / 开发者门户当前页面为准。调研基于 2026-10 公开网页检索。