← 首页 · 硬件与算力 硬件与算力

国产 / 站端常见 NPU:公开 FPS · 功耗 · 导出路径补全

调研日期:约 2026-10-25(Asia/Shanghai)
方法:WebSearch / WebFetch 交叉核验算能 sophon-demo、地瓜 RDK DOC、爱芯 HuggingFace/Pulsar2、高通 Product Brief 与第三方 QNN 评测、寒武纪公开产品页与论文;并与既有《边缘板实测选型矩阵》(Jetson / RK3588 / Hailo 等)对照。
读表须知:数字多为 model-only(不含 RTSP 解码、前处理、NMS、画框)。端到端通常再打 0.3~0.7 折。峰值 TOPS、板级瓦特、整机 USB-C 口功耗不可混写。未在公开源核到同条件数字的,一律 「未找到公开数」。


0. 与 Jetson / RK / Hailo 对照后的「国产站端短名单」

电力站端要同时满足:多路国标摄像头硬解、INT8 可复现、供货与信创友好、工具链能自建 OTA。对照既有矩阵:

档位 短名单 对标既有平台 一句话
站端多路主机(首选国产) 算能 BM1684X(SE7 / AirBox 类) 对标 Orin NX / 高端 RK 工控盒 官方 YOLOv5s INT8 裸推约 285 FPS;32 路视频例程总吞吐约 167~180 FPS;功耗量级 约 17~33 W(整机/推理态)
站端性价比 / 前端盒子 算能 CV186AH / BM1688,或 爱芯 AX650 对标 RK3588 / Orin Nano CV186AH 7.2 TOPS、YOLOv5s INT8 约 122 FPS 裸推、盒子约 5~8 W;AX650 YOLOv8n NPU3 约 1.4 ms(约 700+ FPS) 但须核多路编解码与整机瓦特
机器人 / 轻站端开发板 地平线 RDK X5(旭日5,10 TOPS) 对标 Pi5+Hailo / Orin Nano 入门 官方 YOLOv8n@640 ≈ 140 FPS;典型功耗宣传约 3 W;工具链需适配 Head
IPC / 枪机前端 SoC 爱芯 AX630C 对标低功耗 RK / Hailo-8L 载荷 3.2 TOPS@INT8、典型 <1.5 W;YOLOv8n NPU2 ≈ 8.3 ms(约 120 FPS)
海外/混合采购备选 高通 QCS6490(非纯国产) 对标 Orin Nano / RB 系列 12 dense TOPS、典型 6~9 W;QNN INT8 YOLOv8n ≈ 210 FPS(第三方)
谨慎 / 缺口大 寒武纪 MLU220 边缘线、地平线 J6 智驾 — MLU220 公开 YOLO 稀疏且偏老卡;J6 公开 YOLO 站端功耗表 几乎空白

不建议用「峰值 TOPS」直接替换短名单:Hailo-8 桌面 Zoo 的千级 FPS、Orin Super 模式、爱芯 NPU3 单帧延迟,现场都会被解码路数、DDR、散热与后处理吃掉。


1. 总表(YOLO-n 类 · 640 优先 · INT8)

平台 峰值算力量级 功耗量级(公开) YOLO 类公开 FPS / 延迟(条件) 导出路径
BM1684X INT8 32 TOPS;FP16 16 TFLOPS 模组/板卡叙述约 20 W;AirBox 推理约 33 W;论文 CFIS-YOLO 整板约 17 W YOLOv5s@640:INT8 3.51 ms ≈ 285 FPS(bmrt_test,SE7-32);32 路管线 INT8 总 167~180 FPS(sophon-demo) ONNX/PyTorch → TPU-MLIR → .bmodel → bmruntime
BM1688 公开产品页强调多精度边缘 TPU;演示板 SE9-16 未找到可横比的统一整机瓦特金标准 YOLOv5s INT8 单核 9.33 ms ≈ 107 FPS;双核 INT8 8.53 ms ≈ 117 FPS(sophon-demo) 同 TPU-MLIR → bmodel
CV186AH / CV186X INT8 7.2 TOPS(INT4 约 12 TOPS 叙述) 行业盒子实测约 5~8 W(CNN 场景) YOLOv5s INT8 8.18 ms ≈ 122 FPS(SE9-8,sophon-demo);第三方盒子 YOLOv8n 约 50~80 FPS(须自核) 同 TPU-MLIR;与 BM1684X 工具链兼容叙述
旭日 X3(RDK X3) X3M 5 TOPS / X3E 3 TOPS 社区约 数瓦量级;无统一官方整机瓦特表 适配 YOLOv8s(改 Head/ReLU)双核八线程约 38.5 FPS(不含后处理);YOLOv5s 少类别约 30 FPS ONNX → hb_mapper / Open Explorer → .bin → BPU
旭日 X5(RDK X5) BPU 10 TOPS INT8 官方/测评宣传典型约 3 W YOLOv8n@640 ≈ 140.46 FPS(地瓜 RDK DOC);yolo26n ≈ 67.48;yolov10n ≈ 36.47 ONNX → hb_mapper makertbin(march 如 bayes-e)→ .bin
征程 J5 / RDK Ultra 社区:J5 约 128 TOPS、Ultra 约 96 TOPS(智驾档) 未找到站端统一功耗金标准 J5:YOLOP@640 约 51 FPS、HybridNets 约 22 FPS(不含前后处理,社区文);Ultra:YOLOv5s 主干约 6 ms(论坛对照) 同地平线 OE / HBDK 系
征程 J6 / J6E 智驾 ASIC;文档强调算子融合与对齐 未找到公开 YOLO 功耗瓦特表 工具链手册有 fuse 前后分类 FPS 例;站端通用 YOLOv8n 同条件公开数未找到 OE / 专用编译;需按 BPU 约束改图
爱芯 AX650N 最高约 72 TOPS@INT4 / 18 TOPS@INT8 整机瓦特:未找到与 YOLO 同行的官方瓦特金标准 YOLOv8n:1.410 ms(NPU3)≈ 709 FPS;YOLOv8s NPU3 3.55 ms(AXERA HF);YOLO26n 726 FPS ONNX → Pulsar2 → .axmodel → AxEngine
爱芯 AX630C 3.2 TOPS@INT8(INT4 约 12.8 TOPS 叙述) 典型场景芯片功耗 <1.5 W(厂商新闻) YOLOv8n NPU2 8.308 ms ≈ 120 FPS;NPU1 14.5 ms(AXERA HF) 同 Pulsar2,--target_hardware 切芯片
高通 QCS6490 Hexagon 12 dense TOPS Product Brief 典型 6~9 W 第三方 QNN INT8:YOLOv5n ≈318 FPS、YOLOv8n ≈210 FPS、YOLO11n ≈199 FPS(640,model-only) ONNX → QNN / AI Hub(取代旧 SNPE)→ HTP
高通 RB5 Hexagon 约 15 TOPS 叙述 开发套件量级约 数瓦~约 7 W 量级 公开同条件 YOLO 表稀疏;社区估 YOLOv8n@640 INT8 约 15~25 FPS 量级(须自测) SNPE 遗留或 QNN
寒武纪 MLU220 芯片峰值叙述 INT4 32 TOPS / 约 10 W;M.2 卡约 8 TOPS / 8.25 W;SOM INT8 16 TOPS、≤15 W 见左 论文/论坛:YOLOv5s 约 40 ms ≈ 25 FPS 量级(条件不一) 量化 → MagicMind → .cambricon → CNRT

2. 分平台手册

2.1 算能 Sophon:BM1684X / BM1688 / CV186AH

定位:国产站端「多路视频 + TPU」主候选。BM1684X 吃 16~32 路分析主机;CV186AH 吃 4~8 路低功耗盒子;BM1688 介于其间并带更强 ISP/外设叙述。

导出路径(实证):主流深度学习框架或 ONNX → model_transform.py 得 MLIR →(INT8 先 run_calibration.py)→ model_deploy.py --processor BM1684X|BM1688|CV186X → .bmodel。运行时 bmruntime / bmrt_test;视频侧配合 BMCV。sophon-demo 的 YOLOv5 例程同时覆盖 BM1684 / 1684X / 1688 / CV186X。

公开 YOLO 要点:
- BM1684X(SE7-32):YOLOv5s FP32 21.66 ms、FP16 7.37 ms、INT8 3.51 ms;INT8×4 batch 单张 3.34 ms。
- 多路例程:32 路 INT8 总 fps 167(1b)/ 180(4b)——这是管线吞吐,不是单路 285 FPS 乘 32。
- CV186X:INT8 8.18 ms;BM1688 双核 INT8 可到约 6.87 ms/张(4b)。

电力站端适用位:变电站多路人员/车辆/烟火/安全帽 IVA;与 MQTT/OTA(Mender + 签名模型仓)组合时,bmodel 作为日更单元清晰。表计 Pose / 红外伪彩:未找到与电力金标准同条件的官方 FPS。

缺口:端到端(含硬解+画框)官方统一瓦特表少;电力专用头(油位、指针)需自采校准集;采购需确认 SE7/SE9 与 SDK 大版本绑定。

2.2 地平线 Horizon:X3 / X5 / J5·Ultra / J6

定位:X3/X5 走地瓜 RDK 机器人与轻边缘;J5/J6 偏智驾,算力猛但站端文档与功耗公开度不如算能/RK。

导出路径:训练侧导出 ONNX(注意 opset)→ Open Explorer / hb_mapper makertbin → .bin → BPU Runtime(TROS hobot_dnn 等)。公版 YOLOv8 常需:删检测头解码到后处理、SiLU→ReLU、可变组卷积,否则 CPU 算子与量化掉点会同时暴击。

公开 YOLO 要点:
- X3:适配 YOLOv8s 约 38.5 FPS(双核八线程、无后处理);少类别 YOLOv5s 约 30 FPS。
- X5:官方表 YOLOv8n 140.46 FPS(640);注意同表 yolov5@512 仅 10.37——版本与输入尺寸不可混比。
- J5:YOLOP ≈ 51 FPS、HybridNets ≈ 22 FPS(社区,无前后处理)。
- J6:高效模型指南有 fuse 收益例;通用 YOLO-n 站端同条件公开数:未找到。

功耗:X5 宣传典型约 3 W;X3/J5/J6 站端统一瓦特金标准 未找到公开数(勿把智驾车规 TDP 直接写进变电站标书)。

电力适用位:巡检机器人主脑、轻量站端 POC、需要地瓜生态传感器的场景。超多路国标摄像头主机仍更看 BM1684X / RK3588。

缺口:模型必须「为 BPU 改图」;J6 资料偏汽车;电力红外/表计公开 benchmark 空白。

站端选型提醒:若招标写「国产化 + 多路视频」,地平线 X5 更适合作为巡检机器人与单路/少路智能的证明平台;把 X5 的 140 FPS 直接外推成「可替 32 路 SE7」缺少公开多路总表支撑,应在标书中降级为「单路/少路实时」。J5/Ultra 算力充裕,但供货渠道、BSP 与汽车工具链学习成本高于算能 SE 系列;电力项目若无既有地平线团队,冷启动成本需计入。

2.3 爱芯 Axera:AX650 / AX630C(兼 AX637/AX615)

定位:AX650 冲高吞吐边缘/盒子;AX630C 冲低功耗 IPC 前端(真黑光 ISP + 小瓦特)。

导出路径:ONNX(建议 onnxslim)→ Pulsar2 pulsar2 build --target_hardware AX650|… → .axmodel → AxEngine / axcl。HuggingFace AXERA-TECH/YOLOv8、yolo26 提供多芯片预编译与延迟表。

公开 YOLO 要点(厂商 HF,偏 NPU 延迟):
- AX650N NPU3:YOLOv8n 1.41 ms、YOLOv8s 3.55 ms;YOLO26n 726 FPS。
- AX630C NPU2:YOLOv8n 8.31 ms、YOLOv8s 23.6 ms。
- AX637 / AX615 有中间档延迟表,可作选型参考。

功耗:AX630C 厂商称典型 <1.5 W;AX650 与 YOLO 同行的整机瓦特 未找到公开金标准(标书须自测满载解码+推理)。

电力适用位:摄像机前端智能(人员靠近、烟火初筛)、低功耗补点;站端汇聚仍建议算能/RK/Orin。爱芯 ISP 对低照有利,但电力红外温度金标准仍缺。

缺口:NPU1/2/3 模式与核划分必须在验收写清;多路 RTSP 官方对照表弱于算能 sophon-demo。

与 RK/Hailo 对照一句:AX650 单帧延迟可媲美甚至压过许多桌面加速卡宣传数,但站端要问的是「几路 1080p 硬解同时跑几个模型」——这一点算能与 RK 的公开材料目前更好引用;AX630C 则在「枪机前端 <1.5 W」上更像 Coral/Hailo-8L 的低功耗叙事,适合做第一道过滤再回传到站端主机。

2.4 可选:高通 RB5 / QCS6490、寒武纪边缘

QCS6490(Dragonwing):官方 12 dense TOPS、典型 6~9 W;第三方 QNN INT8 YOLO 全系列表齐全(v5n≈318 FPS、v8n≈210、11n≈199)。导出走 QNN。适合工业 IoT / 海外方案;非信创首选。

RB5:算力叙事约 15 TOPS,公开同条件 YOLO 矩阵稀;社区估测偏保守。新项目优先 QCS6490 + QNN,而非维护旧 SNPE。

寒武纪 MLU220:SOM/M.2 仍有产品页(16 TOPS / ≤15 W 或 8 TOPS / 8.25 W 等分档)。YOLOv5s 公开约 25 FPS 量级、工具链 MagicMind→cambricon。相对算能/爱芯,站端例程、多路视频 demo、持续文档活跃度偏弱;新开电力视觉优先短名单前三档,MLU220 作存量维护即可。


3. 跨阵营怎么读(避免标书翻车)

  1. 同一「FPS」四套口径:NPU 裸推(bmrt_test / AxEngine / QNN)≠ 多路管线总吞吐 ≠ 含 NMS 的业务 FPS ≠ 含硬解的端到端。算能 285 vs 167、爱芯 709 vs 现场 30,都可能同时为真。
  2. 改图才是性能的一部分:地平线删 Head、爱芯切 NPU3、RK 开三核,都不是「公版 ONNX 一键」。
  3. 功耗测点:芯片典型、模组 TDP、整机适配器口——三格分开写。AirBox 推理 33 W 与 CV186 盒子 5~8 W 不在同一产品档。
  4. 电力业务模型几乎都无厂商行:绝缘子、指针表、油位、接头红外、AFCI——POC 必须带自有校准集再谈 INT8。
  5. 与既有矩阵合用:国际线继续 Jetson DeepStream / Hailo HEF / RKNN;国产线用本文 bmodel / axmodel / hb bin;OTA 仍建议「系统用 Mender、模型仓自建签名」。

3.5 与 Jetson / RK3588 / Hailo 的「可替换性」细读

既有矩阵里,Orin Nano Super 上 YOLO11n TensorRT FP16 约 4.5 ms(约 220 FPS)、INT8 约 3.7 ms;RK3588 Zoo 单核 YOLOv8n 约 73 FPS、社区三核管线可喊到约 200 FPS 量级;Hailo-8 桌面 Zoo YOLOv8n 可到千级 FPS,但树莓派 PCIe×1 会明显打折。把国产数放进同一张「心理标尺」:

  • 单路裸推:BM1684X YOLOv5s INT8 ≈ 285 FPS、AX650 YOLOv8n NPU3 ≈ 700+ FPS、QCS6490 YOLOv8n ≈ 210 FPS,都已进入「单路实时完全够用、瓶颈在多路与后处理」区间;X5 的 140 FPS、CV186 的约 122 FPS 同样满足单路 25~30 业务帧。
  • 多路才是站端分水岭:算能 SE7 例程直接给出 32 路总吞吐约 167~180 FPS,这与 DeepStream 多路叙事同一量级,是国产短名单里文档最完整的一块。爱芯、地平线、高通在「N 路 1080p + YOLO」的官方并列总表上仍偏弱,投标时要么自测,要么继续绑算能/RK/Orin。
  • 瓦特与散热:CV186 / AX630C / X5 走「数瓦~十余瓦」盒子与机器人;BM1684X / AirBox 走「二十瓦上下到三十多瓦」机柜主机,对标 Orin 15~25 W 档而非 Hailo 单卡数瓦。光伏杆塔补点若只有太阳能预算,优先 AX630C / Hailo-8L / CV186,而不是 SE7。
  • 工具链摩擦:Jetson 的 ONNX→TensorRT、RK 的 ONNX→RKNN,社区教程最多;算能 TPU-MLIR 与爱芯 Pulsar2 在 GitHub/HF 上已可闭环;地平线往往要改网络结构才到表内 FPS,POC 工期要预留「适配一周」而非「导出一晚」。
  • 信创与招采:纯国产视觉站端短名单内部排序建议为 BM1684X → CV186AH/BM1688 → AX650/AX630C → RDK X5;QCS6490 作混合方案备胎;寒武纪 MLU220 作存量。J6 等智驾芯片等公开站端功耗与 YOLO 金标准齐后再进短名单。

验收话术建议写成:「在目标 SDK 版本上,YOLOv8n(或项目定制权重)640×640 INT8,4 路 1080p 硬解,端到端含 NMS 不低于 15 FPS/路,整机 DC 口平均功耗不超过约定瓦特,连续跑 30 分钟无不可恢复降频。」这样可同时约束算能、爱芯、地平线与 RK,避免被单帧 benchmark 带偏。

4. 国产站端落地建议(可执行)

  1. 默认短名单:多路站端主机 BM1684X;4~8 路低功耗盒 CV186AH 或 RK3588(后者见既有矩阵);IPC 前端评估 AX630C;机器人载荷 RDK X5 或 Orin Nano / Pi+Hailo。
  2. POC 协议写死:输入 640、INT8、batch=1、是否含解码与 NMS、路数、功耗测点(整机 DC 口)、连续 30 min 是否降频。
  3. 导出流水线:训练统一 ONNX → 各厂商编译器产出签名产物(bmodel/axmodel/bin/rknn/engine)→ 模型仓版本号与芯片+SDK 绑定。
  4. 不要把 J6 / MLU370 云卡数字写进站端标书;J6 等智驾文档齐后再单开「车规/舱内」附录。

5. 继续深挖建议(下一轮)

  1. 各芯片 GStreamer / 厂商 IVA 插件对照补表:算能 BMCV 元素、爱芯 axstream、地平线 VPS/PYM 与 RK mpp+rknn、Jetson nvinfer 并列(含零拷贝能否打通)。
  2. BM1684X / AX650 / RDK X5 同条件复测:同一 YOLOv8n ONNX、同一 4 路 1080p RTSP、同一功率计,产出可投标的端到端表。
  3. 电力小模型专表:安全帽、绝缘子、指针 Pose 在 bmodel/axmodel/hb bin 上的 mAP 掉点与 FPS(自有 200~500 张)。
  4. 信创与长供:SE7/SE9、AX650 工控模组、RDK X5 模组的温度范围、Linux 生命周期、密码模块(国密)公开说明收集。
  5. 红外伪彩:同一热成像序列在 Sophon / Axera / RK 上的预处理耗时(伪彩→RGB)——目前跨芯片公开对照 未找到。
  6. QCS6490 vs BM1684X 总拥有成本:含授权、SDK、人员培训,而非只比 TOPS。

本文为公开网页与仓库交叉整理,不构成厂商合同指标。上线前请在目标硬件与目标 SDK 版本上复测。

← 变电站边缘 AI 网关参考 BOM 首页 国产 NPU:GStreamer / 厂商 IVA 插件对照表 →