变电站边缘 AI：远程运维窗口与变更管控手册（可执行）
调研日期：约 2026-10-25（Asia/Shanghai）
落盘：/workspace/research/edge-ai-remote-ops-change-window.md
定位：把边缘盒的变更分级、窗口预约、双人授权、执行冻结、验证关闭、失败回退写成可操作 runbook；与 Mender 系统轨、模型 canary、备份灾备、VLAN 隔离、SSH 加固衔接；变更永不进保护网（PROT）。
衔接：edge-ai-model-signstore-mender-cookbook.md、edge-ai-model-canary-rollback.md、edge-ai-backup-disaster-recovery.md、edge-ai-vlan-network-isolation.md、edge-ai-secure-boot-runtime-integrity.md、edge-ai-mqtt-hardening-offline-buffer.md、edge-ai-observability-logging-metrics.md、edge-ai-human-review-false-positive-loop.md、edge-ai-d60-d90-acceptance-checklist.md。
声明：本文只管 AI/管理信息大区运维变更；不替代继电保护二次安规、业主未公开站规或调度下令流程。不确定处标 unknown。
0. 一句话结论与红线
结论：无已批准变更窗口禁止改 prod；一切变更在 CAM / AI / MQ / EVD / MGMT / OTA 分区内完成，零流量、零配置、零跳线进 PROT；窗口内失败必须按预案自动或双人确认回退到变更前基线（系统轨 A/B、previous 模型、昨日 config），未过验证门禁不得标「已关闭」。
| 红线 ID |
禁止项 |
说明 |
| W1 |
无窗口禁止改 prod |
未预约、未冻结基线、未双人授权 → 禁止推 Mender Artifact、禁切 current、禁改 ACL/VLAN、禁改 authorized_keys/相机清单；调试仅 maintenance 沙箱 |
| W2 |
变更不进 PROT |
禁改保护装置、GOOSE/SV 交换、跳闸硬接点、保护 LD；禁借窗口「顺便」开 PROT Trunk 或并柜跳线（叠 N1、D60-09） |
| W3 |
失败必回退 |
金丝雀/健康探针/连通自检失败 → 系统回 A 槽或旧 Artifact、模型回 previous、配置回变更前快照；禁止「先上线再周末修」 |
| W4 |
双人授权不可旁路 |
L2+ 变更须「执行人 + 授权人」分离；同一人不可自批自推；紧急变更事后 ≤4h 补单（见 §2.4） |
| W5 |
管理通道仅 MGMT |
SSH/面板仅堡垒→MGMT；禁经 CAM/公网直达；禁临时开密码登录（叠 SB-03、N3） |
| W6 |
变更即备，关窗前验备 |
改 config/围栏/ACL/keys 前触发增量备份；关窗前确认日备或变更包可恢复（叠 B3） |
1. 变更分级与审批矩阵
1.1 四级分类（按对象轨）
| 级别 |
轨 |
典型变更 |
影响面 |
默认可回退点 |
| L0 配置 |
/data/config |
防抖阈值、告警静音窗、电子围栏微调、任务绑定、日志级别 |
单站误报/漏报 |
变更前 config 快照 |
| L1 模型 |
签名仓 |
新权重 canary→promote、标签映射、INT8 重校准包 |
推理质量/FPS |
previous + reload |
| L2 系统 |
Mender |
rootfs Artifact、内核/驱动、Agent 大版本、证书信任锚进镜像 |
整机可用性 |
A/B 槽回滚 |
| L3 网络 |
VLAN/ACL/SSH |
VLAN 成员、防火墙规则、Broker ACL、authorized_keys、口别角色、OTA 白名单 |
分区安全边界 |
交换机/盒配置昨日备 + 口别标签对照 |
复合变更：同一窗口含多轨时，按最高级别审批；顺序固定为 L3（若有）→ L2 → L1 → L0，避免「先推模型再改 ACL 把探针打挂」。模型与系统禁止同窗捆绑为单一回退（对齐 C4/D60-07）：失败时分轨回滚。
1.2 审批矩阵
| 级别 |
预约提前量 |
授权人（最少） |
执行人 |
必附产物 |
可否远程 |
| L0 |
≥4h（工作日）或站内值班同意 |
站运维值班 或 AI 运维负责人 1 人 |
运维/现场 |
变更单 + config diff + 变更前备 |
可（MGMT） |
| L1 |
≥1 工作日 |
AI 运维 + 质量/标注负责人（双签） |
模型 Agent 操作员 |
验签记录、INT8/许可门禁、canary 方案 |
可（仓→盒） |
| L2 |
≥2 工作日 |
AI 运维 + 平台/系统负责人；涉及 Secure Boot 钥则再加安全岗 |
OTA 操作员 |
Artifact 签名校验、兼容清单、A/B 演练记录 |
可（限源 OTA） |
| L3 |
≥3 工作日；跨站同步更长 |
网络/安监 + AI 运维；保护专业会签「无 PROT 影响」 |
网络工程师 + 现场监护 |
VLAN/ACL diff、连通矩阵、禁止跨保签字页 |
部分须现场（跳线/口别） |
冻结基线内容（所有级别）：site_id、当前 model.ver/current SHA、Mender 槽与 Artifact 名、config/fences 哈希、VLAN 口别表、authorized_keys 指纹、日备包 ID。写入变更单「回退目标」栏，关窗前不可改写。
2. 窗口 Runbook：预约 → 冻结 → 执行 → 验证 → 关闭
2.1 状态机
draft → scheduled → frozen → executing → verifying
→ closed_ok | rolled_back | aborted
紧急：draft → emergency_armed → executing → … → post_mortem≤4h
| 状态 |
入口 |
允许动作 |
禁止 |
scheduled |
审批通过 + 日历占用 |
预下载 Artifact/权重到 staging（不激活） |
切 current、改 ACL |
frozen |
T0−30min：基线哈希落单 + 备份钩子成功 |
进入执行倒计时 |
并行另一 L1+ 窗 |
executing |
双人确认「开始」 |
按级别脚本逐步执行 |
临时扩 scope |
verifying |
脚本报完成 |
跑 §2.3 检查表 |
未绿切 prod 标签 |
closed_ok |
全绿 + 双方签字 |
解除冻结；保留审计 |
— |
rolled_back |
任一步失败或人工 abort |
分轨回退 + 事件上报 |
关窗冒充成功 |
2.2 标准时间线（单站单窗，示例 90～180 min）
| 阶段 |
相对时刻 |
动作 |
对接手册 |
| 预约 |
T−数日～数时 |
填变更单：级别、范围、回退目标、窗口起止（Asia/Shanghai）、执行/授权人 |
本文 §1 |
| 预取 |
T−24h～T−1h |
L1/L2：下载到 store/Mender pending；不激活；错签即拒 |
签名仓 / canary |
| 冻结 |
T0−30min |
触发配置增量备；记录基线哈希；MQTT 标 chg_window=armed；可选短时提高采样 |
备份 B3/B6 |
| 执行 |
T0 |
L3→L2→L1→L0；SSH 仅堡垒；全程审计日志 |
VLAN / Secure Boot |
| 验证 |
T0+Δ |
§2.3；L1 须过 canary 窗或缩短探针（见变更单） |
canary / 可观测性 |
| 关闭 |
验证绿 |
chg_window=closed；更新台账；失败则 rolled_back 并开缺陷单 |
D60/D90 |
2.3 关窗验证检查表（全级别最小集）
| ID |
检查项 |
否决？ |
| V-01 |
无新增至 PROT 的路由/Trunk/线缆；口别标签与冻结表一致 |
是 |
| V-02 |
SSH 仍仅密钥、仅 MGMT、限源；无密码登录成功记录 |
是 |
| V-03 |
L2：Mender 槽健康；失败已回 A/旧槽；/data 模型指针未被系统轨误删 |
是 |
| V-04 |
L1：MODEL_VERIFY 通过；canary 绿或已 rolled_back 至 previous |
是 |
| V-05 |
L0：config/fences 哈希=目标或已回冻结基线；变更即备包存在 |
是 |
| V-06 |
Broker ACL/cmd 抽检仍无跳闸/软压板/GOOSE |
是 |
| V-07 |
readyz、关键 FPS、误报率相对基线未破变更单阈值；无 OOM 风暴 |
是 |
| V-08 |
审计：谁在何时执行/授权/回退可检索 |
是 |
2.4 紧急变更例外（Emergency）
仅当：① 在途安全/大面积误报导致运维不可用；② 已知利用面（如 SSH 钥泄露）须即时吊销；③ 业主/调度书面或录音下令（留存 unknown 以站规为准）。
| 规则 |
要求 |
| 仍守 W2/W3 |
紧急也不进 PROT；能回退的必须可回退 |
| 授权 |
值班长 + AI 运维口头双人，录像/通话记录；≤4h 补正式变更单与基线哈希 |
| 范围 |
最小必要：吊销钥、切 previous、回 A 槽、临时静音误报（L0）；禁止借紧急做 L3 大改拓扑 |
| 事后 |
24h 内复盘；若跳过 canary，须在下一正式窗补探针或强制回退重发 |
3. 与既有轨的衔接要点
| 轨 |
窗口内怎么做 |
失败回退 |
| Mender（L2） |
仅装已签名 Artifact；预取≠提交；提交后盯 A/B 健康 |
自动或人工回退非活动槽；不动 /data/models |
| 模型 canary（L1） |
store→canary→探针→current；禁止未验签热切 |
自动 previous+reload；上报 MODEL_CANARY_FAIL |
| 备份（W6） |
冻结时增量备；L0/L3 变更后即备 |
回冻结快照；恢复后仍跑 V-01～V-08 |
| VLAN（L3） |
diff 先审后下；CAM 与 PROT 无交叉 |
回昨日交换/盒配置；现场核对口别 |
| SSH/加固 |
增删 authorized_keys 走 L3；禁窗内开密码/调试口 |
删临时钥；指纹变更告警须解释 |
事件建议（对齐 ops schema）：CHG_WINDOW_ARMED / CHG_EXEC_START / CHG_VERIFY_FAIL / CHG_ROLLED_BACK / CHG_CLOSED；字段含 change_id、level、actor、approver、基线哈希。
4. 两周落地与验收门禁（嵌 D60/D90）
4.1 两周排期
| 日 |
动作 |
产出 |
| D1 |
冻结变更分级表与审批矩阵；站历预留窗口位 |
矩阵 v0.1 + 日历 |
| D2 |
变更单模板：回退目标、V-01～V-08、紧急补单栏 |
模板 + 示例单 |
| D3 |
对接备份钩子：frozen 状态自动增量备 |
钩子日志 |
| D4 |
对接 canary/Mender：禁止无 change_id 的 prod 推送（配置开关） |
拒推演练 |
| D5 |
L0 演习：改防抖→验证→关闭；故意失败回退 |
录像/日志 |
| D6–7 |
L1 演习：错签拒收 + 短 canary 失败回 previous |
对齐 D60-06/07 |
| D8 |
L2 演习：Artifact 提交后回滚槽；确认模型指针不变 |
D60-07 证据 |
| D9 |
L3 桌面推演 + 实验室 ACL diff；从 CAM 扫 SSH 应失败 |
VLAN-04 证据 |
| D10 |
紧急路径桌面推演：吊销 SSH 钥 + ≤4h 补单 |
脚本 |
| D11 |
审计检索演练：按 change_id 拉齐执行/授权/回退 |
检索截图 |
| D12–14 |
写入 D60/D90 勾选；季度窗口日历；培训签字 |
门禁包 |
4.2 验收门禁（建议并入 D60/D90）
| 门禁 |
要求 |
严厉度 |
对齐 |
| CW-01 |
存在分级矩阵 + 变更单模板；抽检 2 次真实或演习窗有双人迹 |
否决 |
W1/W4 |
| CW-02 |
无 change_id 的 Mender prod 提交与模型 current 切换被拒绝（可演示） |
否决 |
D60-06/07 |
| CW-03 |
演习中至少一次失败自动或双人回退成功；无「带病关窗」 |
否决 |
W3、C3 |
| CW-04 |
窗口相关操作审计可按 change_id 检索 |
否决 |
SB 审计 |
| CW-05 |
变更通道与备份通道均不经 PROT；禁止跨保页有窗口条款 |
否决 |
D60-09、VLAN-01/11 |
| CW-06 |
紧急变更有补单样例与时限达标记录 |
警告（连续两次超时升否决） |
§2.4 |
| CW-07 |
SSH 窗内无密码登录、无 CAM 直达管理口 |
否决 |
SB-03、N3 |
D60：CW-01/02/03/05/07 未过 → 不可称「远程运维就绪」。
D90：CW-04/06 + 季度窗日历入移交包；投标材料不得写「7×24 随意远程改 prod」。
5. 运维速查
| 场景 |
先做 |
禁止 |
| 想改围栏 |
开 L0 单 → 冻结备 → 改 → V-05/V-07 |
直接 SSH 改文件当完成 |
| 新模型要上 |
L1 单 + 验签 + canary |
跳过窗口 ln -sfn |
| 系统要打补丁 |
L2 单 + 签名 Artifact + A/B |
与模型大版本同单「打包回滚」 |
| 改 ACL/VLAN |
L3 + 保护会签无 PROT 影响 |
窗内开 PROT 测试通道 |
| 半夜误报炸锅 |
紧急：静音或回 previous；≤4h 补单 |
借机重构网络 |
| 回退失败 |
切 maintenance；保现场；升缺陷；不动 PROT |
关 Secure Boot 强行刷机瞒过 |
6. 参考与未知项
- 业主具体「两票三制」与调度下令表格：unknown，以站规覆盖预约字段名；本文最小集可映射进既有票。
- 多站并行窗口的全局锁（避免仓侧同时大推）：建议仓侧
max_concurrent_prod_changes，默认值 unknown 由平台定。
- 与主站 104/61850 点表变更的联动窗：若仅只读告警点，可随 L0；涉及主站库表则另走主站规程（本文不展开）。
- 公开实践对照：变更窗 + 双人 + 分轨回滚常见于工控 IEC 62443 运维与云原生「maintenance window」——落地以 不进 PROT 与 签名分轨 为先，不照搬公有云一键发布。
文档结束。