边缘 AI：模型金丝雀发布、灰度与回滚手册（可执行）

调研日期：约 2026-10-25（Asia/Shanghai）
落盘：/workspace/research/edge-ai-model-canary-rollback.md
定位：在签名仓 store / current / previous 之上，把 canary 探针、站内灰度、自动回滚 写成可操作状态机；与 Mender 系统轨分家、INT8 门禁、主动学习新权重、ops MODEL_* 事件、D60/D90 验收衔接。
衔接：edge-ai-model-signstore-mender-cookbook.md、edge-ai-secure-boot-runtime-integrity.md、edge-ai-int8-quant-calibration.md、edge-ai-active-learning-relabel-loop.md、edge-ai-observability-logging-metrics.md、edge-ai-event-schema-acceptance.md、edge-ai-d60-d90-acceptance-checklist.md、edge-ai-gstreamer-ota-cheatsheet.md。
声明：本文只管模型轨发布节奏；系统镜像 canary 仍走 Mender A/B。不替代二次安规。不确定处标 unknown。

0. 一句话结论与红线

结论：新权重必须 Ed25519 验签通过 → 落入不可变 store/<sha> → 金丝雀探针通过 → 才允许 ln -sfn 切 current；金丝雀或灰度窗内健康失败 自动切回 previous 并 reload；系统轨（Mender）与模型轨（签名仓）分家回滚，禁止未验签热切、禁止「改软链冒充激活」。

1. 发布状态机（store → canary → current / previous）

1.1 目录与角色（对齐签名仓）

/data/models/
  store/<sha256>/     # 不可变：权重 + manifest.json(+sig) + labels
  canary  -> store/<sha>/   # 金丝雀窗独占；推理可双载或旁路进程读此链
  current -> store/<sha>/   # 正式推理只认此软链
  previous-> store/<sha>/   # 上一稳定版；回滚目标
  keys/model-verify.pub

1.2 状态序（必须逐步，不可跳）

offered → downloaded → verified → staged(store)
       → canary_armed → canary_running → health_ok
       → promoted(current) | rolled_back(previous)
任一步失败：保持原 current；previous 不变（除非本次曾成功 promote）

原子切换：一律 ln -sfn store/<sha> current（或先写 current.tmp 再 mv -T）；推理只读软链，收 SIGHUP / Unix socket reload 后重开权重。禁止先删旧目录再拷新目录的非原子路径。

1.3 健康探针（金丝雀窗默认建议）

窗长默认 30～120 min（单盒）或 24～48 h（站级晋升前金样板）；fail_threshold 与 window_sec 写入 manifest rollback 段。

伪代码（与签名仓手册一致并扩展）：

# canary 窗内
fail=0
while within_window; do
  ok=true
  curl -fsS "$HEALTHCHECK" || ok=false
  fps_ok || ok=false
  temp_ok || ok=false
  $ok || fail=$((fail+1))
  [ "$fail" -ge "$FAIL_THRESHOLD" ] && {
    model-agent rollback --reason canary_health --emit MODEL_CANARY_FAIL
    exit 1
  }
  sleep "$SAMPLE_SEC"
done
# 窗末：错检门禁 +（可选）人工 ack → promote
model-agent promote --from canary --emit MODEL_PROMOTE_OK

2. 灰度策略：单盒 → 单间隔 → 整站

2.1 三级推进

硬规则：未完成 G0 不得开 G1；未完成 G1 不得开 G2。跨站同步发布 unknown 是否允许——默认禁止，按站独立 canary。

2.2 失败判据与自动回滚（汇总）

回滚后：推理不得中断超过 reload 时限（建议 ≤30 s）；证据仓与 MQTT 缓冲不停；model.ver 在事件中立即反映 previous。

2.3 与 Mender 系统轨并行时的纪律

3. 与主动学习、INT8、ops 事件衔接

3.1 主动学习新权重入口

闭环（见复标手册）终点必须是本状态机，不得「标注完直接覆盖 current」：

难例→标注→A轨微调→INT8导出→精度报告+台账绿灯
    → 签名 manifest（含 calib_sha / toolchain）
    → channel=canary offer → §1 状态机 → G0→G1→G2

3.2 INT8 精度报告作发布前门禁

对齐 edge-ai-int8-quant-calibration.md：

1. 报告含：相对 FP/基线跌幅、关键类分项、校准集 SHA、工具链版本、目标板 e2e 复测。
2. 超协议阈 → 不得写入仓 channel=canary。
3. manifest 缺 calib_sha256 / 工具链字段 → Agent rejected（等同 Q5）。

3.3 ops / MQTT 事件码（与可观测性对齐）

业务事件仍走 evt/edge/#；发布运维走 ota/model/ack 与 ops：

日志禁止落私钥与长时效预签名 URL；model.ver 必现于激活后业务事件。

4. 两周落地清单

5. 验收门禁（嵌入 D60/D90）

绝对否决（贴墙）：未签名权重进 current；金丝雀失败仍推全站；用 Mender 回滚「顶替」模型回滚或反之。

6. 失败模式速查

7. 与已有文档的接法

• 签名仓手册：本文件展开其 canary 通道、健康检查与 rolled_back，不改目录与验签算法。
• 安全启动：RoT→验签根→Agent 验签；本手册的「热切」禁令落在 L3。
• INT8 / 主动学习：发布前门禁与飞轮出口。
• 可观测性：探针指标进同一 metrics；MODEL_* 进 ops。
• D60/D90：CAN-* 作为分轨与飞轮演练的操作细则。

本文为工程手册草稿；站端变更窗与人工 ack 是否强制，以业主运维规程为准（unknown 勿写死）。密钥与法务条款须安全/法务复核。