边缘 AI 芯片厂商深挖:ST · Espressif(ESP) · AMD
调研日期:2026-10-25(Asia/Shanghai)
范围:官方 Model Zoo、软件栈、数据集入口、上板路径、许可与电力/工业相关现成能力
方法:官方文档 / GitHub / Component Registry / Hugging Face 实证检索;未公开入口处注明「未找到公开入口」
关联总表:边缘AI开源模型与数据集行业调研
文首:三家对比
| 维度 | ST(STM32) | Espressif(ESP32) | AMD(Vitis AI + Ryzen AI) |
|---|---|---|---|
| 算力档 | MCU~NPU:Cortex-M 毫瓦级;STM32N6 Neural-ART 标称约 600 GOPS;MPU(MP2)跑 Linux | Wi-Fi MCU:S3/P4 片上向量/PIE 加速,适合 nano 检测与语音;无独立大 NPU | 两套栈:① FPGA/SoC DPU/NPU(ZCU/KV260/Versal);② PC Ryzen AI NPU(Windows) |
| 开源程度 | Model Zoo / Services 开源;Cube AI Studio / NanoEdge 生成库需留意许可;YOLO 等外链可能带 AGPL | esp-dl / 多数视觉组件偏开放;esp-sr 为 Espressif 产品限定许可(非标准 OSI 开源) | Vitis AI Model Zoo 大量 Apache/可下载 xmodel;部分标 Non-Commercial;Copyleft Zoo 单独仓;Ryzen LLM 多在 HF |
| 上手成本 | 中:需 CubeIDE + Cube AI Studio / Edge AI Core;N6 要外挂 Flash/XIP | 低:idf.py + Component Registry 一键拉模型 |
高:FPGA 需 Vitis/Petalinux/DPU;Ryzen 需 Win + 驱动 + Conda |
| 适合场景 | 电弧 AFCI、振动/HAR、AED、低功耗工业传感;N6 上轻量视觉 | 摄像头门锁、行人/人脸、语音唤醒与命令词、低成本 AIoT;P4 可上 OCR | 工控机/边缘盒多路视觉(DPU);AI PC 本地 LLM/OCR/检测(Ryzen AI) |
| 典型输出物 | 优化 C 库 / IDE 工程 | .espdl + ESP-IDF 组件 |
.xmodel(DPU)或 ONNX + VitisAI EP(Ryzen) |
一、STMicroelectronics(STM32)
1. 产品线与典型开发板
| 系列 | 角色 | 典型板 / 入口 |
|---|---|---|
| STM32G4 / U5 / H7 等 Cortex-M | TinyML、时序、小视觉 | B-U585I-IOT02A;STM32H747I-DISCO;NUCLEO-H743ZI2 |
| STM32N6(Cortex-M55 + Neural-ART) | MCU 级视觉/语音加速,约 600 GOPS | STM32N6570-DK;N6 AI 专题:stm32n6-ai |
| STM32MP1 / MP2 | OpenSTLinux + X-LINUX-AI | STM32MP257F-EV1 |
| AFCI 演示板 | 直流电弧检测参考 | 官网案例用 自研 STM32G4 AFCI 板;社区称商用开发板约 2026 春末推进,公开原理图/BOM 未在案例页放出(见社区帖) |
统一入口:ST Edge AI Suite · 文档中心:ST Edge AI Docs
2. 软件栈
| 组件 | 作用 | 文档 / 下载 |
|---|---|---|
| STM32Cube AI Studio | 取代 X-CUBE-AI(自 ST Edge AI Core v3.0 起不再支持插件路线);导入 Keras/TFLite/ONNX/sklearn→ONNX,量化、验证、生成 C 与 IDE 工程 | Studio Docs · 入门教程 |
| ST Edge AI Core | CLI:分析 / 优化 / 校验 / 代码生成;Studio、Model Zoo Services、Developer Cloud 底层 | Edge AI Docs 内 Core 章节 |
| NanoEdge AI Studio | AutoML:异常检测 / 分类,面向时序;生成 libneai.a + 头文件 |
下载页 · Wiki |
| X-LINUX-AI | OpenSTLinux 上的 AI 扩展(MP1/MP2) | 产品页 · meta-st-x-linux-ai |
| ST Edge AI Developer Cloud | 板场远程 benchmark | Suite 内入口 |
| stm32ai-modelzoo + stm32ai-modelzoo-services | 预训练权重 + 训练/量化/部署脚本与应用代码 | modelzoo · services |
| Hugging Face | 模型卡与 Dashboard | STMicroelectronics org |
输出格式: 主要为 优化 C 源码 / 静态库,集成进 STM32CubeIDE / IAR / Keil;N6 上算子映射到 Neural-ART,不支持的回落 CPU。
3. Model Zoo 细目(v4.x,含 PyTorch)
仓库需 git-lfs。Use case 目录(2026-10 实证):
| Use case | 路径 | 主要模型族 | 推荐靶点 | 量化 / 输出 |
|---|---|---|---|---|
| Image Classification | image_classification/ |
EfficientNet(v2)、MobileNetv1/v2、ResNet、SqueezeNet、ST MNIST;PyTorch:MobileNetv4、ResNet18、HardNet、MNASNet 等 | H7 / MP2 / N6 | float / INT8 → C |
| Object Detection | object_detection/ |
ST YOLOLCv1、ST YOLOXNano;公开 YOLOv2t / YOLOv8n / YOLOv11n / YOLO26n;BlazeFace;PyTorch SSD/SSDLite、ST YOLODv2Tiny/Milli | N6(YOLOv11n 等强烈推荐 N6) | INT8 TFLite 等 → C |
| Face Detection | face_detection/ |
人脸+关键点 | H7 / N6 | 同上 |
| Pose Estimation | pose_estimation/ |
人体/手/脸关键点(含 Face Landmarks) | MP2 / N6 | 同上 |
| Semantic / Instance Seg | semantic_segmentation/ · instance_segmentation/ |
像素级 / 实例分割 | MP2 / N6(实例偏 N6) | 同上 |
| Depth / Style Transfer | depth_estimation/ · neural_style_transfer/ |
FastDepth 等 | N6 | 同上 |
| Audio Event Detection (AED) | audio_event_detection/ |
MiniResNet v1/v2、Yamnet-256 / Yamnet-1024 | U5 / U3 / N6 | INT8;输入多为 mel 64×96 |
| Speech Enhancement | speech_enhancement/ |
语音增强(PyTorch 路径) | N6 | — |
| Human Activity Recognition (HAR) | human_activity_recognition/ |
st_gmp、st_ign | U5(B-U585I-IOT02A) | 加速度窗口 → C |
| Hand Posture (ToF) | hand_posture/ |
ToF 手势 | NUCLEO-F401RE 等 | — |
| Arc Fault Detection (AFD) | arc_fault_detection/ |
st_dense、st_conv(频域 512 bin) | U5 推荐;N6 支持 | Keras + INT8 TFLite → C |
| Re-Identification | re_identification/ |
ReID | N6 | — |
Release 4.0/4.1 亮点:PyTorch IC/OD、混合精度 W4A8、AFD / Face Detection / ReID、YOLO26、AED 上 STM32U3、STEdgeAI Core v4.0。
4. 官方 / 推荐数据集
| 任务 | 公开集(Zoo README 提及) | 厂商数据 |
|---|---|---|
| 检测 | COCO(含 COCO Person footprint) | 部分 custom |
| 分类 | ImageNet 系(MobileNet 等) | ST MNIST |
| HAR | WISDM | ST mobility_v1 |
| AED | ESC-10、FSD50K 子集;Yamnet 源自 AudioSet | — |
| AFD | 公开通用电弧集有限 | Zoo 内 afd_test_bench_dataset(ST 自定义);NanoEdge 案例约 1000 正常 + 1000 电弧、150 kHz、2048 点 |
| 下载方式 | 克隆 modelzoo(LFS)或 HF 模型卡;Services 脚本自动拉校准数据 | Developer Cloud 远程测 |
5. 从 0 到上板(最短路径,约 7 步)
- 选定靶点:时序/AFCI → U5/G4 + NanoEdge 或 AFD Zoo;视觉 → STM32N6570-DK。
- 安装 STM32CubeIDE、STM32Cube AI Studio(或 Edge AI Core CLI)、CubeProgrammer。
git lfs install && git clonestm32ai-modelzoo 与 services(同级目录)。- 取现成 INT8(如 MobileNetV2 α=0.35 128 或 YOLO11n)或用 Services 在自有数据上微调/量化。
- Studio 导入
.tflite/.onnx→ 选 N6/U5 → 生成 Application / 网络 C 文件。 - CubeMX 配外设(N6:XSPI/XIP、NPU 权限、摄像头 CSI);编译烧录。
- 板端对拍精度与延迟;OTA/日志自建。可选:Developer Cloud 无板先 benchmark。
AFCI 专用路径: 采电流 → NanoEdge 分类工程 → 生成库链进 G4;或用 Zoo st_dense/st_conv + Cube AI。
6. 许可与坑
- X-CUBE-AI 已退役:新项目用 Cube AI Studio / Core ≥ v3。
- NanoEdge:生成库在 STM32 上免费商用;非 ST Cortex-M 量产需向 ST 申请;库本身非开源权重。
- YOLO 系列:Zoo 明确外链 stm32-hotspot/ultralytics 有独立许可证(常涉 AGPL),商用必审。
- 各 use case 有独立
LICENSE.mdBOM。 - N6:权重常放外部 NOR,XIP 配置易踩坑;算子不支持则回落 CPU,延迟骤升。
- Model Zoo 大文件依赖 git-lfs;漏装会拿到空指针文件。
7. 电力 / 工业相关(单独标出)
| 能力 | 入口 | 说明 |
|---|---|---|
| 直流电弧 AFCI | 案例页 + Zoo arc_fault_detection/ |
NanoEdge:案例称 100% 准确率、~16.7 KB RAM / 0.5 KB Flash(演示条件);Zoo st_dense INT8 约数 KiB 级 Flash,输入 FFT 512 |
| 振动 / HAR | human_activity_recognition/(st_gmp / st_ign) |
可迁移到电机/风机振动分类(需自采数据) |
| 声事件 AED | Yamnet / MiniResNet | 可做设备异响、放电声等(需重训头) |
| 行人 / 安全帽等视觉 | YOLO11n / YOLO26n on N6 | 无电力专用权重;用 COCO 冷启动 + 现场微调 |
| OCR / 表计 | 未找到 ST 官方专用表计 Zoo | 建议通用检测+外部 OCR,或改用 ESP-P4 / PC |
二、Espressif(ESP32-S3 / P4)
1. 产品线与典型开发板
| 板卡 | SoC | 官方入口 |
|---|---|---|
| ESP32-S3-EYE | ESP32-S3 | DevKits · 摄像头+屏+麦,视觉入门 |
| ESP32-S3-Korvo-2 | ESP32-S3 | 语音(ES7210/ES8311)+ 可选摄像头 |
| ESP32-P4-Function-EV-Board(及后续 P4X 替代) | ESP32-P4 | P4 Function EV · 更高算力/显示;OCR 示例主要跑 P4 |
| 通用 DevKit | S3 / P4 | 无摄像头时外接 DVP/MIPI 模组 |
芯片侧:S3 带向量指令;P4 算力/内存更宽裕。无独立 TOPS 级 NPU,靠 CPU+PIE/SIMD + 量化模型。
2. 软件栈
| 组件 | 作用 | 入口 |
|---|---|---|
| ESP-IDF ≥ release/v5.3 | 基础 SDK | idf.espressif.com |
| esp-dl | 深度学习推理库 + Model Zoo(IDF 组件) | github.com/espressif/esp-dl · 文档 |
| ESP-PPQ / esp-ppq | ONNX→量化→ .espdl;AutoQuant / espdl-quantize skill |
pip install esp-ppq |
| esp-who | 视觉应用示例层(人脸、行人、二维码等),基于 esp-dl | github.com/espressif/esp-who |
| esp-sr | AFE + WakeNet + MultiNet + VADNet + TTS 等 | github.com/espressif/esp-sr · 文档 |
| esp-detection | 自训轻量检测(ESPDet-Pico) | github.com/espressif/esp-detection |
| Component Registry | idf.py add-dependency "espressif/<model>" |
components.espressif.com |
输出格式: .espdl 模型 + C++/C API 组件;Flash / PSRAM / SD 可选存放;menuconfig 选模型。
3. Model Zoo 细目(esp-dl models/,2026-10)
| 组件名 | 说明 | 芯片 | Registry |
|---|---|---|---|
| yolo26 | NMS-Free 检测,COCO 80 类 | S3 / S31 / P4 | espressif/yolo26 |
| coco_detect | YOLO11n COCO 检测 | S3 / S31 / P4 | coco_detect |
| coco_pose | YOLO11n-Pose | 同上 | coco_pose |
| coco_seg | YOLO11n-Seg | 同上 | coco_seg |
| human_face_detect / recognition | MSR/MNP/ESPDet + 特征匹配 | 同上 | Registry 同名 |
| pedestrian_detect | 行人 | 同上 | pedestrian_detect |
| cat/dog/hand_detect、hand_gesture | ESPDet-Pico 系 | 同上 | 各组件 |
| imagenet_cls | MobileNetV2×1000 | 同上 | imagenet_cls |
| pp_ocr_v6 | PP-OCR v6 tiny,中英+拉丁文 | P4 | pp_ocr_v6 |
| speaker_verification | 声纹 | S31 / P4 | — |
| person_reid | ReID | S3/S31/P4 | — |
| motion_detect / color_detect | 帧差 / 颜色跟踪 | 全系列 ESP32 | — |
量化:默认 INT8;自 2026 中起支持 w8a16;P4 上 Conv/Gemm 可 per-channel(需 esp-ppq≥1.2.10、esp-dl≥3.3.1)。可视化:.espdl 可在 Netron 打开。
语音(esp-sr,独立于视觉 Zoo):
- WakeNet9 / 9l / 9s / 10 / 10s:唤醒词;9s/10s 覆盖无 PSRAM / 无 PIE 的 C3/C5/C6 等;多语种(中英日法德西葡俄等,以文档为准)。
- MultiNet5/6/7:离线命令词,最多约 300 条中/英;S3 多版本,P4/S31 以 mn7 为主。
- AFE:AEC、VAD、DOA、GSC beamforming(P4 文档更全)。
4. 数据集
| 来源 | 用途 |
|---|---|
| COCO | 官方 YOLO11/26、pose、seg 预训练 |
| ImageNet | MobileNetV2 分类 |
| 自采 + esp-detection | 猫/狗/手等 ESPDet-Pico |
| 语音 | 自定义唤醒词走乐鑫定制流程;未找到与视觉 Zoo 同级的大规模公开「电力语音」集 |
| Demo 图 | 各 examples/*/img/ 随仓提供 |
校准集:量化教程要求用户自备代表数据;官方教程:quantize YOLO11n、AutoQuant。
5. 从 0 到上板(约 6~7 步)
- 安装 ESP-IDF ≥ 5.3,选目标
esp32s3或esp32p4。 - 准备板:S3-EYE(视觉)或 Korvo-2(语音)或 P4 EV(OCR/重模型)。
- 视觉:
idf.py create-project→idf_component.yml添加如espressif/coco_detect;或 clone esp-who / esp-dlexamples/yolo11_detect。 idf.py menuconfig:模型分区、PSRAM、摄像头引脚。idf.py build flash monitor,先跑通官方 demo。- 自有模型:导出 ONNX → esp-ppq 量化为
.espdl→ 替换组件模型(先查 operator_support_state)。 - 语音:
idf.py add-dependency "espressif/esp-sr^2.6.0",menuconfig 选 WakeNet/MultiNet,烧 model 分区。
6. 许可与坑
- esp-sr LICENSE:允许在 Espressif 产品上使用的许可文本(GitHub 标
Other),不是宽松 Apache/MIT 意义上的「任意 MCU 可用」;量产前法务确认。 - Flash/PSRAM:YOLO11n 级模型强烈依赖 PSRAM;分区表与模型存放位置配错会启动失败。
- 算子:不在 support list 的层无法加速,需改网络或自己实现(有 espdl-operator skill)。
- P4 OCR 示例当前绑定 P4;S3 上强行移植需自测。
- 旧 esp-who 分支与新 esp-dl API 不兼容,跟当前 master/文档走。
7. 电力 / 工业相关
| 能力 | 现成程度 |
|---|---|
| 行人检测 | pedestrian_detect 组件,可直接用于变电站周界/通道(需现场微调) |
| YOLO11n / YOLO26 | 通用检测冷启动(异物、人员、车辆) |
| PP-OCR v6 tiny(P4) | 表计数显、铭牌、回路牌 OCR 潜力大 |
| 声纹 / 唤醒 / 命令词 | 巡检终端语音交互;无现成「电弧声」模型 |
| 电弧 AFCI / 振动 | 未找到乐鑫官方 AFD/振动 Model Zoo;需自采 + Tiny 网络经 esp-ppq |
三、AMD(Vitis AI 嵌入式 + Ryzen AI PC)
AMD 边缘 AI 需拆成 两条产品线,勿混用工具链。
A. 嵌入式:Vitis AI + DPU / Versal NPU
1. 产品线与板卡
| 平台 | 典型板 | 说明 |
|---|---|---|
| Zynq UltraScale+ | ZCU102 / ZCU104 | 经典 DPU 评估 |
| Kria | KV260 | 视觉 SOM,入门成本相对低 |
| Versal AI Edge | VEK280 等 | Vitis AI 6.x 新一代 NPU/AIE-ML 流向 |
| Alveo / VCK | 数据中心加速卡 | 同 Zoo 多 board 变体 |
文档:Vitis AI UG1414(2026-08 标注 6.2)· 旧版流程说明仍以 Vitis AI 3.5 Model Zoo 最细。
2. 软件栈
- Vitis AI(量化器
vai_q_pytorch/vai_q_tensorflow、编译器、Runtime VART) - Vitis AI Library(高层 C++ API,检测/分类等)
- 输出:
.xmodel(DPU)或新版 snapshot;INT8 为主 - 仓:Xilinx/Vitis-AI ·
model_zoo/model-list·downloader.py - Copyleft Model Zoo:YOLO 等互惠许可训练代码单独仓,与主 Zoo 分离
3. Model Zoo 细目(Library / 3.5 列表仍广泛引用;6.2 文档续维)
按任务归类(完整表见 UG1354 Models Supported 与 model-list):
| 任务 | 代表模型 |
|---|---|
| 分类 | ResNet50/101/152、Inception、MobileNet、EfficientNet-EdgeTPU、VGG、SqueezeNet、OFA-ResNet |
| 检测 | SSD-MobileNet、YOLOv3/v4/v5/v6/v7/v8、YOLOX-nano、OFA-YOLO、EfficientDet-D2、face_mask_detection、RefineDet-Medical |
| 分割 | UNet2D、HRNet、HardNet-MSeg、3D-UNet |
| 姿态 | MoveNet |
| 点云 / 3D | PointPillars(KITTI / nuScenes) |
| 深度 / 超分 | FADNet、RCAN、SESR、xilinxSR |
| NLP(部分) | BERT-tiny/base/large、ViT |
| 车相关 | vehicle_make / type / color ResNet18 |
命名惯例:F_M_(D)_H_W_(P)_C_V(框架_模型_数据集_高_宽_剪枝_算力_版本)。下载:python3 model_zoo/downloader.py → 输入如 tf resnet → 选 ZCU104/KV260 等。
4. 数据集
Zoo 标注的公开集包括:ImageNet、COCO、VOC、KITTI、nuScenes、BDD、KiTS19、AudioSet 相关任务等(以各模型 yaml/readme 为准)。压缩包内常有 data/ 目录约定;部分因许可不含预训练权重,仅给结构与脚本。
5. 上板最短路径(嵌入式)
- 选板(入门常 KV260 或 ZCU104)。
- 装对应 Vitis AI 版本 Docker / 工具(版本与板卡 强绑定)。
downloader.py拉目标 board 的量化包。- SD 卡刷官方镜像,VART 跑
samples。 - 自有模型:PyTorch/TF → 量化 → 编译 xmodel → 替换。
- 生产:锁定 DPU 配置与时钟,做吞吐/延迟压测。
B. PC:Ryzen AI Software(NPU)
1. 硬件
带 NPU 的 Ryzen AI 笔记本/迷你主机(Phoenix / Hawk Point / Strix 等世代;以 Ryzen AI Software Hub 兼容列表为准)。
2. 软件栈
- 安装:Installation(NPU 驱动 +
ryzen-ai-*.exe→ Conda) - 运行时:ONNX Runtime +
VitisAIExecutionProvider - 量化:AMD Quark(INT8 / A8W8 / A16W8 等)· Quark for Ryzen AI
- 推荐 ONNX opset 17;不支持算子自动回落 CPU
3. 模型列表(Ryzen AI 1.8 LLM 等)
官方 1.8 LLM-based Model List 含(节选):
- LLM:Llama-3/3.1/3.2(1B~8B)、Mistral-7B、Phi-3.5/4-mini、Qwen2.5 0.5B~7B、Qwen3 1.7B/4B/8B、SmolLM2-135M、Hunyuan 系列等
- 变体:hybrid(prefill NPU + decode GPU)、full-optimized(约 4K)、long-context(≤16K)
- VLM / 其他:gemma-3-4b-it、Qwen3-VL-4B、VideoChat-Flash、embeddinggemma、translategemma、neutts TTS 等
Hugging Face:amd 组织 collections(如 Ryzen AI 1.8.0 NPU 4K/16K、Hybrid、Whisper NPU ONNX、SD 等)。CNN 类预优化 ONNX 见 Hub 文案中的 AMD NPU Hugging Face collection。
4. 上板(PC)最短路径
- 确认机器在 Ryzen AI 支持列表,装 NPU 驱动。
- 安装 Ryzen AI Software 1.8.x,激活 Conda env,跑
quicktest.py。 - 从 HF 拉预编译/预量化模型,或 ONNX + Quark 量化。
InferenceSession(..., providers=['VitisAIExecutionProvider'])。- 首跑编译缓存 EP context;再测延迟与 NPU 占用。
6. 许可与坑(AMD 合计)
- Zoo 中标注 Non-Commercial Use Only 的模型必须遵守 AMD 附加协议。
- Copyleft(如部分 YOLO 训练码)与 Apache 主仓分离,商用审查。
- 版本绑定极强:3.5 的 xmodel 不能假设直接跑在 6.2 Versal 流;Ryzen EP 与嵌入式 VART 不是同一套 API。
- FPGA:比特流、DPU 配置、设备树任一不匹配即失败;学习曲线陡。
- Ryzen:目前主路径 Windows;算子不全则静默切 CPU,需看 EP 日志。
7. 电力 / 工业相关
| 能力 | 现成程度 |
|---|---|
| 行人 / 车辆 / 口罩检测 | Vitis Library:检测类 + face_mask、vehicle_* |
| YOLO 系列 INT8 xmodel | 多版本;适合变电站多路摄像头边缘盒 |
| 医疗 RefineDet 等 | 可借鉴小目标检测,非电力专用 |
| 本地 LLM 告警摘要 | Ryzen AI 上 Qwen2.5/3 小模型 |
| 电弧 AFCI | 未找到 AMD 官方 AFD Zoo;时序更适合 ST NanoEdge |
| OCR | 无与 ESP pp_ocr_v6 同级的「电力表计」官方包;可用通用 OCR ONNX + Ryzen EP 自测 |
文末:选型建议
| 你的需求 | 更优选择 | 理由 |
|---|---|---|
| MCU 相机(单路、成本敏感、Wi-Fi) | ESP32-S3-EYE + esp-dl YOLO11n/行人 | 组件化最快;P4 需要 OCR/更大模型时再上 |
| MCU 语音(唤醒+命令词) | ESP-SR(Korvo-2) 或 ST U5+自研 AED | 乐鑫唤醒/命令词最成熟;注意 esp-sr 许可绑定芯片 |
| 电弧 AFCI / 振动 / 极低功耗时序 | ST:NanoEdge 或 Zoo AFD/HAR | 唯一三家中有官方电弧案例+Zoo |
| MCU 级较强视觉(仍要实时检测) | STM32N6570-DK + YOLO11n/26 | Neural-ART;许可审 YOLO |
| 多路工业视觉边缘盒 | AMD KV260/ZCU + Vitis AI YOLO | DPU 吞吐;团队需有 FPGA 能力 |
| 工控 PC / AI PC 本地 LLM+视觉 | Ryzen AI + HF 模型 + VitisAI EP | 与 FPGA 栈分开建设 |
| 表计 OCR | 优先 ESP32-P4 + pp_ocr_v6;或 PC/Ryzen 通用 OCR | ST 无专用 OCR Zoo |
电力巡检落地组合(务实):
- 传感/保护:ST G4/U5 + AFCI/振动;
- 低成本枪机周界:ESP S3 行人/YOLO;
- 表计:P4 OCR 或上级网关 OCR;
- 站端多路与报告生成:AMD DPU 盒或 Ryzen AI 工控机。
补充:部署与电力场景落地笔记
版本与兼容(写进 BOM 的那些钉子)
三家共同教训是「工具链版本绑死板卡与模型文件」。实践上建议在仓库里固定:
- ST:记录
ST Edge AI Core大版本(Zoo 4.1 对应 Core v4.0)、CubeIDE、CubeProgrammer;N6 工程是否 XIP、外置 Flash 型号。YOLO 权重若来自 stm32-hotspot,单独记许可证与 commit。 - ESP:记录 ESP-IDF 分支(≥ release/v5.3)、
esp-dl/esp-ppq/ 各模型组件 semver、是否 per-channel(P4)。换芯片(S3↔P4)必须重新量化,不能假设同一.espdl满速双端跑。 - AMD:嵌入式写明 Vitis AI 3.5 还是 6.2、DPU/NPU IP、目标板(KV260/ZCU104/VEK280);PC 端写明 Ryzen AI Software 1.8.x、NPU 世代与 hybrid/full-optimized/long-context 变体。xmodel 与 Ryzen ONNX 互不通用。
内存与存储现实约束
- ST Cortex-M:HAR/AFD 往往只需数 KiB~数十 KiB;Yamnet-256 约 130K 参数可上 U5,Yamnet-1024(约 3.2M)指向 N6。视觉 YOLO11n 级基本锁定 N6 + 外存。
- ESP:检测类模型优先规划 PSRAM 与 model 分区;语音模型走独立 model 分区,menuconfig 选错会表现为「能编译不能唤醒」。
- AMD DPU:关注输入分辨率与 GOPs 列(Zoo 文件名自带);Ryzen 侧首次 session 编译耗时,要做缓存与 EP context 落盘。
电力行业「现成 vs 要自训」速查
| 子场景 | 现成度最高 | 仍需自有数据 |
|---|---|---|
| 直流电弧 AFCI | ST NanoEdge 案例 + Zoo AFD(st_dense/st_conv) | 本厂逆变器/光伏工况复采,防误跳 |
| 振动/状态 | ST HAR 骨架(WISDM 预训练) | 轴承/风机频谱重标 |
| 周界行人 | ESP pedestrian_detect;AMD YOLO xmodel |
工装、雨雾、红外域微调 |
| 表计 OCR | ESP P4 pp_ocr_v6 |
指针表仍建议检测+姿态/几何,而非纯 OCR |
| 异物/绝缘子 | 通用 YOLO(ST N6 / ESP / AMD) | 必须接 CPLID/InsPLAD 或省侧数据(见行业总文档) |
| 告警中文摘要 | Ryzen AI 上 Qwen2.5/3 小模型 | 提示词与安全策略;勿把一次推理当继电保护 |
未找到公开入口(诚实清单)
- ST AFCI 量产开发板原理图/BOM:案例页未公开;社区称板卡推进中。
- ESP 官方电弧/振动 Model Zoo:无。
- AMD 官方 AFCI / 电力表计专用包:无。
- 三家均 无「开箱即用的电力全场景端到端套件」;均为通用模型 + 行业数据。
与飞书总文档的关系
本文是总调研中「按芯片供应商」章节的 ST / ESP / AMD 深挖版,路径:
/workspace/research/edge-ai-vendor-deepdive-st-esp-amd.md
行业侧公开数据集与非这三家的 Zoo(NVIDIA TAO、Intel OpenVINO、Rockchip RKNN、Hailo 等)仍以飞书文档为准。下一步若继续深挖,建议优先级:NVIDIA Jetson/TAO → Intel OpenVINO → Rockchip/Hailo。
主要参考链接(实证)
- ST Model Zoo:https://github.com/STMicroelectronics/stm32ai-modelzoo
- ST Services:https://github.com/STMicroelectronics/stm32ai-modelzoo-services
- ST Edge AI Docs:https://dev.st.com/edge-ai-docs/general/latest/en/index.html
- ST AFCI 案例:https://www.st.com/content/st_com/en/st-edge-ai-suite/case-studies/direct-current-arc-faults-detection.html
- esp-dl:https://github.com/espressif/esp-dl
- esp-dl models README:https://github.com/espressif/esp-dl/blob/master/models/README.md
- esp-who / esp-sr:https://github.com/espressif/esp-who · https://github.com/espressif/esp-sr
- Vitis AI Model Zoo 说明:https://xilinx.github.io/Vitis-AI/3.5/html/docs/workflow-model-zoo.html
- Vitis AI Library 模型表:https://docs.amd.com/r/en-US/ug1354-xilinx-ai-sdk/Models-Supported-by-Vitis-AI-Library-v3.5
- Ryzen AI Hub:https://www.amd.com/en/developer/resources/ryzen-ai-software.html
- Ryzen AI 1.8 LLM 列表:https://ryzenai.docs.amd.com/en/latest/llm_list.md
全文完。如需把本节同步进飞书总文档或继续深挖 NVIDIA / Intel / Rockchip / Hailo,可指定下一家。