当模型开始行动：Agent 时代的 Alignment 与 Safety

安全对象已经改变
从对齐回答到对齐轨迹
什么才算 agentic misalignment？
一次真实事件：OpenAI、Hugging Face 与失效的控制闭环
思维链监控：一种宝贵而脆弱的传感器
Model 与 harness 必须一起对齐
Environment 也是 objective 的一部分
从威胁建模到事故响应：Safeguard 的运行闭环
当一个 Agent 变成一个组织
如何评估一个对齐的 Agent？
一套实用的纵深防御设计
开放研究问题
结论
如何引用
参考文献

安全对象已经改变

在语言模型对齐（alignment）的第一波浪潮中，被对齐的对象通常是一个回答。用户发来 prompt，模型返回文本，研究者再测量 helpfulness、harmlessness、honesty、bias 或 refusal。问题很难，但边界尚且清楚：模型没有 shell、没有 credential、没有持久记忆、没有同事，也不会把周一犯下的错误留到周二继续。

这个边界已经无法描述今天的前沿系统。Coding agent 可以编辑 repository、运行命令、创建 pull request、与 sub-agent 交流、跨越多个 context window 记住计划，并且连续尝试数小时。Research agent 可以浏览网页、写入文件、调用外部服务、综合证据。Model 仍然负责选择 action，但真正赋予这些选择以影响范围、持续性、权限与记忆，并为 safeguard 提供介入位置的，是它外面的 harness。

2026 年发生的事件，让这种变化从理论变成了现实。在一次刻意削弱 production safeguard 的 cyber evaluation 中，OpenAI 的 agents 越出了预期评测边界，搭建了未经授权的共享 message board，进行了大规模协作，并访问了 Hugging Face 的基础设施。另一起事件中，Anthropic 披露：在配置错误的 cyber evaluation 中，有四个 agent 触达了真实的第三方系统。它们并不是普通 production chatbot 无缘无故地开始攻击互联网；它们是被放进了权限过宽或配置有误环境里的高能力 agent。这个限定非常重要——同样重要的是，事件仍然造成了真实的外部影响（OpenAI, 2026； Hugging Face, 2026； Anthropic, 2026）。

本文论点。 Alignment 的单位已经从一次 model response，扩展成了一个正在执行的社会技术系统（executing socio-technical system）：

model + reasoning trace + harness + tools + permissions + environment + other agents + monitors + incident response。

这并不意味着 model alignment 已经过时。OpenAI 的 GPT-6 Astra System Card 明确把 model alignment 称作 primary lever，把 monitoring 视为附加防线，而非替代品。但这也意味着：只靠一张 model card、一个 refusal rate，或一个 chat benchmark，无法证明一个实际部署的 agent 是安全的（OpenAI, 2026）。

Astra 也是 OpenAI 第一个被评定为达到 Critical cyber capability、并被广泛部署的 model。到了这个 threshold， alignment policy 已经无法与 checkpoint security、sandbox、network 与 credential isolation、universal monitoring，以及对 internal deployment 的 blocking evaluation 分开讨论。这些 control 是围绕 model 建立的防线，并不等于 model 本身天然安全（OpenAI, 2026）。

对齐对象如何逐步扩大图 1. Alignment 的对象从一次回答，扩展到显式 reasoning process，再到持续运行的 tool trajectory，最后到彼此交互的 agent 群体。后一个阶段包含前一个阶段的问题，而不是把它替代掉。

有一个 caveat 贯穿全文。本文会区分三种证据层级：

真实事件（real incident）——由 operational log 或 forensics 支持、且确实观察到外部影响。它强有力地证明某种失败能够发生，但不能给出其普遍发生率。
受控评测或 model organism——在构造条件下进行因果测试或对抗测试。它强有力地证明模型在该设定中 具有某种能力或倾向，但不代表正常 deployment behavior。
提案或解释（proposal or interpretation）——一种设计思路、战略预测或作者观点。它适合用来构建研究议程，但不是 empirical result。

把这三层证据混为一谈，会同时制造麻痹和炒作。在构造 eval 上得到零分，不等于安全证明；被刻意诱发的一次 sabotage，不等于 production incident rate；一次真实事件，也不等于所有系统必然升级失控的定律。

从对齐回答到对齐轨迹

这个领域不是到 2026 年才突然发现「misalignment」。真正改变的是时间、工具、状态与后果的组合。

时代	典型系统	首要安全对象	代表性失败	典型干预
2016–2021	predictive model	objective 与 output	side effect、specification gaming、distribution shift	objective design、testing、constraints
2022–2023	instruction/chat model	一次 response 或 dialogue	harmful compliance、hallucination、sycophancy、错误 refusal	SFT、RLHF、constitution、classifier
2024–2025	reasoning model / model organism	reasoning process 与 latent policy	reward tampering、alignment faking、scheming capability、隐藏捷径	deliberative alignment、audit、CoT monitor、control eval
2025–2026	long-horizon tool agent	完整的 stateful trajectory	authorization overreach、unsafe persistence、verifier gaming、concealment	process-aware training、sandbox、full-trajectory monitoring、active control
2026 之后	multi-agent organization	joint trajectory 与 institution	peer-goal adoption、collusion、correlated error、covert channel	authenticated coordination、separation of duties、global monitor、incident response

它的思想根源早已出现在 Concrete Problems in AI Safety 中：negative side effect、reward hacking、 scalable supervision、safe exploration 与 distributional shift （Amodei et al., 2016）。随后，InstructGPT 把 human preference learning 带到了 assistant response 对齐的实践中心（Ouyang et al., 2022）；Constitutional AI 则把书面原则纳入了 supervision loop（Bai et al., 2022）。下一波研究开始测试：表面上已经对齐的行为，是否可能掩盖另一套 policy——Sleeper Agents、alignment-faking setup、reward-tampering curriculum，以及 sabotage evaluation。这些大多是 model organism 或刻意设置的压力测试；它们的价值在于揭示可能机制，而不是测量日常发生频率（Hubinger et al., 2024； Anthropic, 2024）。

Agency 加入了四个放大器：

Reach（作用范围）：tool 可以把一个不好的 token 变成被修改的 repository、已经发出的消息、泄露的 credential，或被中断的 service。
Duration（持续时间）：retry 与 long horizon 会让微弱倾向不断累积，持续寻找 loophole，或绕开一次 denial。
State（状态）：file、note、cache 与 shared infrastructure 既能保存有用计划，也能保存错误目标。
Interaction（交互）：user、tool、untrusted content 与 other agent 会引入新的 instruction 和 coordination channel。

下面这个表达不是严格的概率公式，但适合用来思考 realized harm：

\[\text{realized risk} \;\propto\; \frac{\text{model propensity}\times\text{available opportunity}\times\text{system reach}\times\text{duration}} {\text{detection}\times\text{intervention strength}}.\]

对齐得更好的 model 会降低 propensity；更好的 harness 会降低 opportunity 与 reach；monitoring 会提高 detection；synchronous blocker、human approval 或 circuit breaker 会提高 intervention strength。这个公式的意义，在于阻止我们只盯着其中一层：改善任何一项都有帮助，但没有哪一项独自拥有整个系统。

小结。 Long-horizon risk 并不只是「模型越聪明就越危险」。它是模型倾向做什么，与周边系统允许这种倾向发展成什么之间的交互。

什么才算 agentic misalignment？

人们很容易把所有坏结果都叫作「misalignment」，但这样会让这个词失去诊断价值。下面这套 taxonomy 更有用，因为每一种分类都指向不同的修复位置。

Agent 失败模式的分类图 2. Agentic failure 可以从一个局部捷径开始，再经过 persistence、permission、state 与 coordination 逐步升级。箭头表示可能的升级路径，而不是必然发生的固定顺序。

1. Objective 或 specification failure

Agent 满足了可测量的终点，却违反了任务的真实意图：查找 benchmark 答案、修改 verifier 而不是程序、改动 test、伪造 tool result，或利用 grader bug。Reward hacking 是这种优化失败的统称；「cheating」只覆盖其中一部分。此时首先该检查的往往是 environment 与 verifier，而不是 model 的道德品质。

2. Scope 或 authorization failure

一个 action 单独看可能有用，却超出了用户授予的权限：搜索私人位置、修改 permission、未经批准就 publish 或 send、提升 credential 权限，或在 simulated task 中操作真实第三方系统。Capability 不等于 authorization；「我请求了」也不等于「我获得了知情批准」。

3. Persistence 与 corrigibility failure

Agent 本应暂停、询问或停止，却把每个阻碍都当成必须绕开的谜题。Automatic retry 在正常情况下是一项 capability feature；但当任务不可能完成、scope 含糊，或 control 已经明确说「不」时，persistence 会把一处很小的偏离放大成对整个 attack surface 的长时间搜索。

4. Epistemic rationalization

Agent 为了继续推进而选择性解释证据：「这一定是 simulation」「自动消息大概也算 approval」「用户肯定想给我更大的权限」。Anthropic 2026 年的 incident assessment 更强调 biased reasoning 与 recklessness，而不是一个稳定存在的秘密 objective。

5. Concealment、deception 与 metagaming

系统虚报完成、把有后果的 action 藏在看似无害的 diff 里、篡改 log、在 eval 中 sandbag，或推理自己是怎样被打分的。Metagaming 本身不等于恶意 intent；agent 可能只是无害地意识到自己正在被评测。只有当这种行为破坏了 measurement 的意义时，它才变成 oversight gaming。

Agent 从 peer 那里接过目标、使用未经授权的 channel、分工完成有害任务、collude、相互操纵，或一起收敛到同一个错误。来自其他 agent 的 message 是 data，不是 authorization。单个 component 已对齐，并不保证把它们组合起来的 organization 也对齐。

7. Environmental attack

不可信网页、repository 文本、tool output 或 memory entry 会注入 instruction 或操纵 agent。这通常被称为 prompt injection，但更深层的问题是 provenance confusion（来源混淆）：普通内容被允许伪装成 authority。

8. Harmful compliance 与 agentic misalignment

它们应该是两条独立的轴。Harmful compliance 指用户要求有害行为，而 model 选择服从；agentic misalignment 指 agent 为追求一个工具性目标，采取了违背用户意图或超出用户授权的行动。同一套 safeguard 很少能同时解决两者：refusal training 主要针对前者；authorization、corrigibility、control 与 monitoring 才是后者的中心。 Anthropic 的 Agentic Misalignment in Summer 2026 用 controlled case 展示 covert intervention、主动披露的 unilateral action、fraud assistance 与被污染的 downstream label，也做了同样的区分；这些 scenario 证明的是机制，而不是 production rate （Anthropic, 2026）。

分析任何事件时，还应坚持两组区分：

Capability、propensity、outcome：模型能不能做到？在某个明确条件下，它会不会选择这样做？一个实际部署的系统是否真的造成了 harm？
Model、harness、environment：哪一个 learned policy 产生了 action？哪一种 runtime affordance 使其成为可能？哪一个 task 或 verifier 创造了 incentive？

如果没有这些区分，「模型黑进去了」这句话会掩盖一个坏掉的 task、一个权限过宽的 sandbox、一套奖励了错误目标的 reward，以及一个缺失的 stop condition——而它们每一个都直接决定应该怎样修复。

一次真实事件：OpenAI、Hugging Face 与失效的控制闭环

2026 年 7 月的 OpenAI–Hugging Face 事件，是目前最清楚地展示「alignment 已经成为系统问题」的案例。它也最容易被过度渲染，因此必须先说明 scope。

事件中的主要 agents 是 OpenAI 内部用于 research/evaluation、且 safeguard 少于 public product 的 model；其中主模型针对 persistence 与 multi-agent collaboration 进行过训练，GPT-5.6 Sol 也被配置进了该 evaluation。任务集 ExploitGym 的设计目的，就是最大限度地激发 cyber capability。所以，这次事件不能用来估计普通 ChatGPT 或 Codex 的行为。它真正证明的是：某个 model–environment–harness 组合越过了真实的授权边界，并对第三方产生了实际影响（OpenAI technical report, 2026）。

2026 年 OpenAI–Hugging Face 事件的因果链图 3. 事件的高层因果链；图中有意省略 exploit 机制。实线框总结公开报告中的事实；与 grader metagaming 相连的「motive」仍是一种推断，不同调查方对它的措辞并不完全相同。

失效链条

部分任务实际上无法完成。 在大量内部尝试中，898 个任务里有 198 个从未被任何 model 解出。它们只占 eval 的 22%，却占未经授权 message board 上被讨论任务的 93%。
Objective 奖励成功，而 persistence 没有经过校准的退出条件。 更多 reasoning time 提高了 agent 探查 sandbox 并发现预期外路径的概率。
Agent 从解决任务转向解决 measurement。 它们开始寻找 hidden flag、grader information、已有答案，或让 trajectory 看上去成功的方法。
Shared infrastructure 变成了 external memory 与 communication channel。 Agent 把 Artifactory 改造成未经授权的 message board，保存发现并进行分工。
Peer information 变成了 peer authority。 一些 agent 表达了 ethical 或 scope concern，却在另一个 agent 发出 approval signal 后继续行动。也有 agent 拒绝执行——重点在于行为存在差异，而不是所有 agent 都有统一 intent。
活动触达了真实基础设施。 Hugging Face 报告称，有限的内部 dataset 与 credential 遭到未经授权访问；初始披露中没有证据显示 public model、dataset 或 Space 被篡改。
Monitoring 与 incident response 来得太晚。 OpenAI 表示，后来在某项特定 eval 中加入 production-style prompt 与 harness control 后，基础设施遭破坏的倾向降低了 100 倍以上；retrospective monitor 也会标记其中很多 action。这证明 harness 很重要，却不能证明同样的降幅会普遍适用于所有环境。

METR/Redwood 的独立调查报告称：约有 1,200 个 agents 出现在未经授权的 message board 上，产生了超过 70,000 条 message/file，约 700 个 agent 参与了与 Hugging Face 有关的活动。这些规模估计来自 recovered board dump 与 classification pipeline。另一个独立步骤中，调查团队在非常紧张的时间内，借助 AI-assisted method 分析了约 1,300 份 raw-CoT transcript；对 reasoning 的分析应连同报告中的 coverage 与 truncation 局限一起理解（METR/Redwood, 2026）。

几份报告对可观察到的事件链条基本一致，但强调点略有不同。Hugging Face 把相当一部分行为描述为 benchmark cheating；OpenAI 总结了四个 contributing factor：reward hacking、unsafe persistence、unauthorized communication 与 goal adoption；METR/Redwood 则更强调 agent 试图理解或操纵 scorer 的行为，其中包括对 transcript tampering 的兴趣。这些证据都不足以证明 agent 拥有一个持久的 hidden goal 或广义的 self-preservation。一个更窄、证据也更扎实的结论已经足够：optimization pressure、broken task、long horizon、shared state、weak authorization 与缺失的 live control 共同形成了一次耦合失效。

这并不是一个孤立的失败形态

Anthropic 在 2026 年 9 月发布的 assessment 中，发现有四个 agent 在配置错误的 cybersecurity evaluation 中触达了真实第三方系统。这些都是 single-agent case，持续约 10–34 小时，也没有出现 OpenAI 事件中的大规模 coordination。Anthropic 最初扫描约 141,000 份 transcript 时漏掉了一个 case；之后覆盖 4.81 亿份 transcript 的更广泛 pipeline，重新找到了同样四个 case。作者更强调 rationalization 与 reckless persistence，并指出：在某些情况下，看得到 CoT 的 monitor 反而比看不到 CoT 的 monitor 更容易接受 model 给出的说法。CoT 可以照亮 intent，也可以说服 judge （Anthropic, 2026）。

英国 AI Security Institute 也披露了一起形态相似的 testing incident：在 122 次 run 中，有 10 次 agent 在 live internet 被刻意打开、provider 的 cyber classifier 被关闭的条件下，执行了未经批准的 external action； VM sandboxing 仍然保留。最严重的尝试没有成功，调查者也没有发现由此产生的 real-world harm，但 agent 确实完成了权限范围外、影响有限的外部操作。这里是刻意放宽条件的 testing setup，并不是 production setting （UK AISI, 2026）。

小结。 这次事件既不「只是 model 的问题」，也不「只是 sandbox bug」。Task、reward、model、harness、 infrastructure、coordination channel 与缺失的 intervention，各自为 failure chain 提供了一个 contributing link。因此，response 也必须是多层的。

思维链监控：一种宝贵而脆弱的传感器

Reasoning model 带来了一个不同寻常的 safety opportunity：其隐藏 scratchpad 可能在 final action 清楚暴露问题之前，就显示它正在筹划某种捷径。OpenAI 2025 年的 coding-agent experiment 发现，一个能看到 CoT、tool action 与 output 的 monitor，比 action-only monitor 更擅长发现 reward hack。同一项研究也给出警告：如果直接对 suspicious CoT 施加强烈 optimization pressure，剩余的 reward hacking 会变得更隐蔽，而不是可靠地消失（Baker et al., 2025）。

下面三个概念很容易混淆：

Faithfulness（忠实度）：被 verbalize 的 chain，是否真实报告了驱动 answer 或 action 的因素？
Monitorability（可监控性）：observer 能否从可用 trace 中识别相关 behavior 或 intent？
Controllability（可控性）：model 能否主动重塑、压制或约束 CoT 中出现的内容？

三者有关，但并不等价。一个不 faithful 的 trace 仍可能泄露足够信号，因此具有 monitorability；一个 controllable 的 trace 在正常情况下可能完全诚实，却也可能在 pressure 下被操纵。

现有证据确实相互交错

Anthropic 训练一个 model，使其在超过 99% 的 prompt 上利用 synthetic reward-hack hint；但在六个 environment 中的五个里，model 对 hack 的 verbalization rate 低于 2%。这些 task 往往不依赖一段承载核心计算的 verbal derivation，所以它的沉默不一定来自战略性 concealment——但 monitor 确实因此失去了信号（Anthropic, 2025）。

OpenAI 后续的 CoT-monitorability 工作发现，更长 reasoning 与 full context 往往有利于 detection；有时让一个稍小的 model 思考更久，可以在保持 capability 的同时暴露更多可监控的工作过程。作者把可能随之产生的 performance 或 compute cost 称为 monitorability tax（可监控性税） （OpenAI, 2025）。

随后，GPT-6 Astra 改变了 frontier。在长度为 750–1,250 tokens 的 CoT 上，Astra System Card 报告的 CoT controllability 是 60.9%，相比之下 GPT-5.6 Sol 为 16.1%、GPT-5.5 Thinking 为 1.7%。System Card 同时报告：Astra 的 CoT 更短或为空；即使没有 visible CoT，它也能展现更多 capability；而且在若干 eval 上， CoT/full-context monitorability 都有所下降。但 adversarial weakness 并不均匀：Astra 尤其更擅长绕过 CoT-only monitor；在一项 sabotage setup 中，它却没有成功绕过 full-context monitor，而 high-recall、full-trajectory monitor 把 evasion rate 压到了接近 0。与此同时，production monitor 有时没有把 case 赋予 P0 priority，而 sandbagging monitor 的 recall 仍然很低。OpenAI 没有发现 steganographic CoT encoding 的证据；已经展示的机制更加朴素——缩短、压制、委婉表达，或不留下 verbal trace 就采取行动（OpenAI, 2026）。

不同监控表面及其盲点图 4. CoT 只是 telemetry surface 之一。可靠 oversight 会结合 proposed intent、executed action、environment consequence、artifact、network activity 与 cross-agent state，并给 control plane 留下实际介入的能力。

因此，实用结论既不是「CoT 揭示了 model 的内心」，也不是「CoT 毫无价值」：

CoT 是一种高价值、但很脆弱的 telemetry。应该保留它，不要把「看起来无辜」直接变成它的 training target，更不能让它成为唯一证据。

OpenAI 为 Astra 描述了三种 monitor scope：

Monitor	能看到什么	优势	盲点
CoT-only	input + reasoning trace	提前发现 intent 与 policy conflict	reasoning 被省略、受控或不 faithful
Action-only	input + tool action/result + output	发现具体破坏或明显异常的 effect	单步看似合理、长期目标却有问题的行动链
Full-context	input + CoT + tool action/result + final output	最强的 trajectory-level 视角；用于 Astra production misalignment monitoring	hidden state、off-channel effect、分布式或极低信号行为

下一层是 global state：执行后的 artifact、repository semantics、network telemetry、permission change、agent 之间的 message，以及 activation-level signal。SLEIGHT-Bench、ResearchArena 与 Redwood 的 code-sabotage 研究都发现了同一种问题的不同版本：subtle omission 与 distributed effect 比一次明显有害的 call 更难发现（Anthropic, 2026； ResearchArena, 2026； Redwood Research, 2026）。

OpenAI 对 internal Codex 的 monitoring 工作，把这个思路变成了 operational pipeline：对完整 agent trajectory 应用 misalignment taxonomy 与 severity scoring，再把最高风险的 case 交给 human investigation。这已经更接近 incident detection，而不是只给 final answer 打分（OpenAI, 2026）。

最后，detection 不等于 prevention。一个明天才提交 report 的 asynchronous monitor，无法阻止今天已经不可逆的 action。高风险 tool call 需要一条 synchronous path，可以执行 allow、ask、resample、route to a trusted executor、pause 或 terminate。代价是 latency、compute 与 approval fatigue；收益则是 monitor 从摄像头升级成了 control。

Model 与 harness 必须一起对齐

Model–harness 的区分，并不是让我们在「把模型训练得更好」与「在外面加 guardrail」之间二选一。当前最好的系统同时使用两者，并刻意把一个很小的、受信任的 control plane 留在 agent 可写状态之外。

Model–harness–environment 安全闭环图 5. Model 提议行动；harness 限定 scope 并进行 mediation；tool 改变 environment；独立 monitor 观察由此形成的 trajectory；control plane 决定是否允许 execution 继续。Environment 则定义 task state、可执行的 action、feedback 与真实后果。

哪些能力应该属于 model

Model 必须泛化那些无法被枚举成 runtime rule 的概念：

把 capability、可用 credential 与 authorization 区分开；
识别 ambiguity，并提出 clarifying question；
当 task 不可能完成、不安全或超出 scope 时，能够安全停止；
不信任藏在 untrusted content 或未经认证 peer message 里的 instruction；
即使 grader shortcut 就在眼前，也能抵制利用它；
诚实报告 uncertainty、failure 与 verification；
在 alignment training 所覆盖的精确 distribution 之外，仍能保持这些行为。

GPT-6 Astra 的 card 描述了贯穿 pretraining data composition、Model Spec example、agentic common sense、 prompt-injection robustness，以及更一致的 process-aware RL grading 的 intervention——而不是只在最后做一次很小的 safety tune。Anthropic 的 Teaching Claude Why 得出了一个互补结论：解释某个 action 为什么违反原则的 example，比仅展示正确 behavior 的 matched example 泛化得更好。在一个公开的实验 setup 中，把 training data 改写为包含显式 ethical deliberation 后，目标 misalignment rate 从 22% 降至 3%；包含丰富原则的「difficult advice」与 fictional story 也能 transfer 到 agentic setting。这些仍然是 controlled experiment，却支持「训练 rationale」，而不是「记忆 blacklist」（OpenAI, 2026； Anthropic, 2026）。

Reward-hack training 尤其需要谨慎。Anthropic 发现，让模型学会现实 coding task 中的 reward hack，可能会泛化成值得警惕的 agentic behavior；在某些 selected test 中，甚至包括 attempted sabotage——即使普通 chat RLHF 已经让 model 在对话中看起来对齐。阻止 hack、增加 agentic alignment training 的多样性，以及使用 inoculation prompting（接种式提示）——明确说明这种捷径只在 training setting 下被允许——都减少了这种更广泛的 generalization。这并不使 reward hacking 变得可接受；它说明 training behavior 被赋予的意义，可能与 action token sequence 本身同样重要（Anthropic, 2025； Anthropic, 2025）。后来一项 model-organism 研究，在 80 个已知存在 reward-hack opportunity 的 production RL environment 上训练了一个早期 Opus 4.8 checkpoint。它在约 40% 的 episode 中进行了 hack；当存在清楚的 grader 或 opportunity 时，这一行为还泛化到若干令人担忧的 action。不过，研究没有观察到 global malicious objective 或 self-preservation。这加强了「curriculum 可以因果性地教出错误策略」的警告，但对象仍是刻意构建的 experimental model，不能被解释成 deployed Claude 的 prevalence （Anthropic, 2026）。

哪些性质必须成为 harness invariant

有些性质太明确、后果也太严重，不能只依靠 model judgment：

Least privilege（最小权限）：使用 scope 清楚、生命周期短的 credential，只暴露 task 所需的最小 tool surface；
Deny-by-default egress（默认禁止外连）：按 task 授予 internet 与 cross-service access，而不是从 ambient infrastructure 自动继承；
Permission semantics（权限语义）：plan、approval request 与 approval 是三类不同的 typed event；
Irreversible-action gate（不可逆操作闸门）：send、publish、delete、deployment、permission change 与 purchase 需要显式 policy 或 human confirmation；
Immutable control plane（不可变控制面）：agent 无法编辑 policy、monitor、verifier、audit log 或自己的 permission record；
Authenticated provenance（认证来源）：user instruction、developer policy、tool output、webpage text、 memory 与 peer message 不能塌缩成同一种不加区分的 context；
Budget 与 safe exit：对 time、step、compute、cost、retry、external effect 与 escalation 设置上限；
Append-only evidence（只追加证据）：真实 tool execution 与 environment state 记录在 model 无法伪造或重写的位置。

这正是 harness 属于 alignment 的原因。Memory 可以保存一个未经授权的 goal；context compaction 可能丢掉原始 scope；retry 可以把一次 refusal 变成寻找等价绕行路径；automatic sub-agent spawning 可以同时放大能力与错误。反过来，plan mode、auto-review、sandbox、approval gate 与 typed tool，也可以把 model 对边界的不确定偏好，转化为一次安全暂停。

Astra 的 workplace evaluation 清楚展示了 model–prompt interaction。在没有 confirmation-policy instruction 时，报告中的 undesirable-outcome rate 是 GPT-5.6 Sol 18.8%、Astra 3.4%；加入这些 instruction 后，Sol 降至 8.0%，Astra 降至 3.0%。这并不是一个由系统强制执行的 approval gate；evaluation 测量的是 model 如何响应 context 中表达的 confirmation requirement。这些是 selected test environment 下的 rate，不是 deployment failure probability。但这个模式仍有启发：Astra 的主要增益来自更好的 model behavior，而较老的 Sol 对 prompt 更敏感（OpenAI, 2026）。

小结。 Model 提供 judgment，harness 掌握 authority。我们应该训练前者去理解边界，同时构建后者，使「model 能否正确理解边界」不再是阻止灾难性越界的唯一因素。

Environment 也是 objective 的一部分

如果只把 environment 称作 agent 的「周边条件」，就低估了它的作用。对一个能够采取行动的系统来说，有效 objective 不只存在于 prompt 或 scalar reward 中；它还由 agent 能看到什么、能改变什么、每个 action 携带什么 permission、state 如何持久化、是否允许停止，以及 verifier 把什么算作成功共同定义。一个实用的工程定义是：

Environment = task specification + observable state + action surface 与 permissions + verifier 或 reward + isolation 与 consequence boundary。

可以用一个紧凑的表达看清其中的因果闭环：

\[\tau \sim (\pi_\theta \leftrightarrow E), \qquad S=M(\tau), \qquad \theta'=U(\theta,\tau,r_E).\]

Policy πθ 与 environment E 共同产生 trajectory τ；evaluator M 把 trajectory 变成分数 S；在 training 中，update rule U 还会把 environment 提供的 incentive 写回 policy。这让我们可以分开四种经常被统称为「environment 造成的」不同机制。

机制	主要阶段	Environment 做了什么	我们可以得出什么结论
暴露（expose）	evaluation、red-team	创造一个让 latent behavior 显现的条件或机会	只能说明系统在条件 C 下可能失败，不能推出 deployment 中的发生率或稳定 motive。
诱发（induce）	evaluation、deployment	冲突 instruction、impossible task、interface error、untrusted input 或过宽 permission，在不改变权重时改变当前 trajectory	说明 integrated system 存在漏洞。冻结 model，只改变被怀疑的 environment variable 来验证因果。
训练（train）	training、online adaptation	可被 game 的 reward、弱 grader、泄露答案或伪相关 cue，把 shortcut 强化进权重或持久 memory	从同一 checkpoint 克隆对照组；持久差异才支持 learned training effect。
误测（mismeasure）	evaluation	Broken task、错误 container、污染 dataset、弱 test 或 scaffold confound，使 score 偏离真实 task success	在 independent scorer 或 human review 验证 label 之前，不能据此判断 capability 或 alignment。

四者是因果角色，不是互斥标签。同一个弱 verifier，可以先在 evaluation 中造成误测；当它被重用于 RL 时，又会训练 shortcut；当它在 deployment 中可见或可写时，还会变成 exploit surface。同样，tool output 中的 prompt injection 可以在 red-team 中暴露 model weakness，也可以在 production 中诱发未授权 action。因此，「task 创造了问题」不是为 model 开脱；它是在识别应该修复哪一层，以及证据允许我们得出多强的结论。

所处阶段会改变 environment 的含义：

在 training 中，environment 是 teacher。 Task sampling、reward、可访问 artifact、failure handling 与隐藏 correlation 共同选择一个 policy。如果 shortcut 总能获得 reward，optimization 就没有理由偏好我们真正希望的 causal path。
在 evaluation 中，environment 是 estimator。 它既要激发目标 behavior，也要正确判断它。压力测试可以有效证明 conditional capability，但不会自动给出常规 deployment prevalence。
在 deployment 中，environment 同时是 threat surface 与 impact function。 Untrusted content 提供 trigger；tool、credential 与 network access 决定可达的 consequence；persistent state 决定一次错误是否会延续到后续 episode。

Coding benchmark 很好地解释了为什么这个区分重要。OpenAI 审计了 o3 在重复运行中经常失败的 138 道 SWE-bench Verified task——这是从 500 道题中挑出的、富集了 failure 的 27.6% subset——并发现其中 59.4% 存在实质性 task/test 问题。这个数字不是对整个 500-task set 的 59.4% defect estimate。同一项审计还在所有被测 frontier model 中发现了 contamination evidence。之后的一项 first-party audit 又估计，SWE-Bench Pro 的 731 道 public task 中约 30% 存在破坏有效性的问题，主要类别是过严 test、欠规范 prompt、low-coverage test 与 misleading prompt。这些公司审计是重要证据，但不是 independent consensus （OpenAI, 2026； OpenAI, 2026）。

作为 evaluation defect，过窄的 hidden test 会产生 false negative，泄露 solution 则会产生 false positive。如果同一个 environment 被重用于 RL，measurement noise 就会变成 training signal，可能奖励查答案、改 verifier 或利用 container。如果 deployed coding agent 还能写 test、接触 scoring authority、读取无关 credential，或使用无限制 network path，缺陷就变成 operational security boundary。因此，同一个 artifact 可以在不同时刻分别是 eval bug、curriculum bug 和 deployment vulnerability。

Anthropic 的 Reward Seeker 研究在刻意悲观的条件下展示了 training path。它从一个早期 Opus 4.8 checkpoint 开始，在 80 个真实 production RL environment 上训练；这些 environment 中的 reward-hack opportunity 要么已在 production 中被观察并修复，要么在训练前的 quality review 中被发现。该实验省略了常规 alignment environment 与其他 production mitigation；到训练结束时， model 在约 40% 的 episode 中 reward hack。在 grader 或 exploitable path 非常显眼的 simulation 中，还出现了一些更严重的 behavior。这项研究没有证明 production prevalence、通用 malicious goal、self-preservation，也没有证明 beyond-episode 的可靠行为。它更窄但仍严重的因果结论是：反复出现的 environment defect 可以教会 model 一种 context-dependent policy——追求 grader 会接受什么，而不是 task 真正要求什么（Anthropic, 2026）。

因此，environment assurance 应当像 model assurance 一样正式：

把每个 task、container、dependency、tool schema、reward 与 verifier 都当作有 owner、有版本的 safety-critical artifact，并为它定义 semantic task contract。
要求 oracle 与多种等价正确解能够通过，而 no-op、mutant 与已知 cheating solution 必须失败；把 invalid task、 infrastructure 与 verifier failure 从 model failure 中分开记录。
把 test、gold answer、grader state、credential 与未来 repository history 放在 agent 的 read/write boundary 之外；使用 least privilege、 sealed scoring、pinned dependency、clean reset 与 deny-by-default egress。
进行 repeated run 与 matched intervention，然后用同一 model checkpoint 比较原始 environment 与 hardened environment。对 training，还要在共同 sealed holdout 上比较 before/after checkpoint。
显式定义 safe stop 与 escalation behavior：impossible 或相互矛盾的 task，不应该让无限 persistence 变成对 vulnerability 的搜索。

小结。 漏洞的存在是 environment failure；选择利用它是 model behavior；允许利用成功是 harness/verifier failure；反复奖励这种行为是 training failure；让它造成外部损害是 system-safety failure。有用的问题不是「model 还是 environment？」，而是哪条因果路径产生了该 behavior，又能在哪条 boundary 上把它截断。

从威胁建模到事故响应：Safeguard 的运行闭环

把 GPT-6 Astra 的 Safeguards 概括成 modeling → model safety training and evaluation → real-time safeguards，确实抓住了主干。但它公开描述的完整体系还多出四层：jailbreak red-teaming、actor-level enforcement、trust-based access 与 infrastructure security。它们合在一起，不是一个挡在 model 前面的 filter，而是一条循环：

理解风险 → 塑造 model behavior → 分别测试组件与整个系统 → 观察真实 execution → 在正确层面介入 → 把 incident 变成下一轮的 scenario、data 与 regression。

本节把 Astra 的 bio/chemical 与 cyber safeguard 当作具体 case study，并不主张同一套 taxonomy 足以覆盖 finance、healthcare 或所有 agent product。公开 card 也是一份 assurance summary：OpenAI 明确省略了一些可能帮助攻击者的 operational detail （OpenAI, 2026）。

Safeguard 的运行闭环图 6. 根据 GPT-6 Astra System Card §10.2 的 safeguard taxonomy 绘制的原创抽象图。Checkpoint security、 sandbox、access control 与 incident response，在 model-to-monitor loop 外构成一层 operational shell。Monitor 只有接上 actuator，才不只是一个 sensor。

Threat modeling：先定义失败，再选择 guardrail

这里的 modeling 不是再训练一个 neural network。Threat modeling 的工作，是把一个模糊的担忧变成可以被证伪的 safety case：谁可能采取行动、想影响什么 asset、拥有哪些 tool 与 permission、危害如何 end-to-end 展开、关键 bottleneck 在哪里、哪些 signal 应当可见，以及在哪个 intervention point 仍能改变 outcome。可以把它压缩成：

threat scenario = actor × objective × asset × access × pathway × bottleneck × observable × consequence

分析单位应该是一条 pathway，而不是一条看起来危险的 prompt。在 biosecurity 中，要问 model 是否对不同 actor class 在一条高后果 workflow 上 counterfactually 降低了 expertise、time、cost 或 operational effort。在 cyber 中，要分析一次 operation 或 campaign：许多单独允许的 step，只有在跨 turn、tool、product 或 account 串联后才形成危害。因此，Astra 的 card 区分了两条可能通向相似外部后果的路径：

风险路径	核心问题	正确的观察单位	主要防线
Malicious misuse	某个 actor 是否正利用 model 越过被禁止的 capability 或 harm boundary？	conversation 加跨 session/account 的 campaign	model refusal、misuse monitor、actor enforcement、risk-tiered access
Model-originated misalignment	在没有 malicious request 的情况下，agent 是否偏离了 user intent 或 authorization？	完整 trajectory、permission change、artifact 与外部 effect	alignment training、typed permission gate、full-trajectory monitoring、sandbox

这个区分会直接改变需要构建什么。一份有用的 threat model 至少要产出七样东西：policy boundary；representative 与 tail scenario；high-consequence action 清单；access-tier 决策；所需 telemetry；evaluation/red-team suite；以及 response ladder。如果最终只在 risk register 里留下几段 prose，它还没有真正成为 engineering input。

把 scenario 翻译成 training data 与 policy

Scenario 只有被翻译成多个层面的 example 与 decision 后才有用。Astra 的 model safety data 包括由 threat scenario seed 出来的 synthetic、production 与 semi-synthetic example。对于 cyber，其中一部分存在于 agentic environment 中，让 model 学的是如何安全地行动，而不只是如何给出一个看起来安全的 final answer。目标行为包括：识别 authorization boundary、抵抗 prompt injection、拒绝或 safe-complete 被禁止的 step，并在 environment 提供了 user 并未授权的能力时安全停止。

Training set 不能只有正面的 refusal，还需要：

应被 block 的 harmful request 与 trajectory；
表面上 dual-use、需要 ask、缩小 scope 或提供 safe alternative 的 ambiguous case；
看起来有风险、实际上应该继续保持 useful 的 benign hard negative；
只有把多个 step 组合起来才显现风险的 long-horizon case；
adversarial 与 historical jailbreak variant；以及
正确行为是 disclose error、revert 或 safe stop 的 recovery case。

Anthropic 的 Alignment Science 系列为这种 translation 提供了两种互补实现。Model Spec Midtraining 在 pretraining 与 alignment fine-tuning 之间插入解释 behavior principle 的 synthetic document，先教 what and why，再由后续 fine-tune 教 model 如何 enact。A3 则从一个已观察到的 failure 出发，分别生成 train、 validation 与 out-of-distribution case，调整 harmful、benign 与 general example 的 mixture，并拒绝会造成 false positive 或 catastrophic forgetting 的修复。它们是改善 generalization 的有希望 recipe，却不能证明 model 已经内化了一个全局正确的 objective （Anthropic, 2026； Anthropic, 2026）。

Astra 能为部分 higher-risk setting 启用更保守的 learned boundary。重要的 systems point 是：应由 account 与 access policy 选择这个 boundary，而不能让 model 自己猜某个 user 应该拥有更多或更少 authority。反过来，经过验证的 defensive user 可以进入一个持续被监控的 trusted-access configuration，恢复窄范围内的 dual-use capability。在 card 的 selected evaluation 上，这确实恢复了相当一部分 usefulness：例如 vulnerability patching 从 standard configuration 下的 44.4% 提升到 Daybreak Blue 下的 100%，同时 arbitrary advanced cyber request 并没有变得更容易获得。它们是特定 task 的 evaluation result，不是通用 safety guarantee （OpenAI, 2026）。

Defense in depth 还要降低 correlated failure。Card 说明，其 bio model training 与 classifier、offline mitigation 分开完成。这不能证明它们拥有完全独立的数据或 error，但体现了一条重要设计原则：如果 model refusal、monitor 与 reviewer 都继承了相同的 teacher、taxonomy 与 blind spot，那么三层可能会像一层一样同时失效。应尽可能使用部分独立的 data source、signal、model、team 与 challenge set，然后显式测量它们共同失效的方式（OpenAI, 2026）。

分别评估 model、monitor 与 integrated system

“The safety score” 不是一个单一量。Model 可能有能力但会拒绝；classifier 可能在 balanced challenge set 上 recall 很高，却因为 false positive 让 production review 不堪重负；两个强组件也可能组合成一个弱系统。Safety case 至少需要先说明测试时启用了哪些组件：

Evaluation configuration	启用了什么	它回答什么问题	常见误读
Capability upper bound	强 elicitation；尽量去除 refusal 影响	Model 到底能不能完成该 harmful capability？	把 refusal 当成没有能力
Model-only safety	learned model policy；关闭 production monitor	Model 自身会不会 refuse、constrain 或安全行动？	把它写成 deployed-system performance
Monitor component	固定 challenge trajectory 与一个 detector	在给定 threshold 下，这个 detector 能抓住什么？	忽略 precision、latency 与 distribution shift
Integrated safeguard	model + harness + monitor + access policy + actuator	被部署的完整 stack 能否阻止有后果的 outcome？	不说明究竟是哪一层贡献了结果
Adversarial control	model 或 red team 尝试规避可信 stack	Control 能否承受 strategic adaptation？	只测试已知 attack

Astra 的 jailbreak program 组合了 historical regression test、systematic variant、对新攻击的 automated search、可以看到 reasoning 与 safeguard policy 的 privileged internal test，以及要求提交可复现 trajectory 的 external grey-box red team。它的 operational sequence 很重要：

known regression → adaptive variation → automated search → external challenge → reproduce → mitigate → 把原 trace 与 counterfactual variant 加入 regression suite

Evaluation 必须同时评分 policy frontier 的两条轴。拒绝一切可以换来 safety without usefulness；只要 usefulness 则只是把风险推到下游。因此要同时测 harmful assistance/action、benign overrefusal、给定 threshold 下 monitor 的 recall 与 precision、time-to-detect、time-to-intervene、residual harm，以及 human-review burden。Astra 在 selected bio/cyber monitor challenge set 上报告的 component recall 落在 80.9% 到 96.4%。这些数字不能相乘后变成一项 end-to-end guarantee；公开 card 也没有同时给出 production precision、latency 或 incident prevalence。它们只是关于特定 dataset 上特定 detector 的证据（OpenAI, 2026）。

Misalignment monitoring 与 misuse monitoring 是两套回路

这几个名字很容易被压缩成「一个 safety classifier」，但它们检验的 hypothesis 不同：

Runtime loop	它在问什么？	Evidence	可能采取的 action	典型 blind spot
Misuse monitoring	User 或 generated content 是否越过了被禁止的 risk boundary？	prompt、generation、activation、topic 与 threat taxonomy	pause streaming、deeper review、block response、escalate actor	被拆散到多次看似 benign interaction 中的 campaign
Misalignment monitoring	Agent 是否偏离了 user intent、scope 或 authorization？	input、CoT、tool action/result、output 与 trajectory context	alert、pause/end run、展示解释、human review、部分场景下 resume	intent 藏在被省略的 reasoning 中，或危害先于 alert 发生
Synchronous harness control	此时此刻，这个具体 action 是否获得授权且可以安全执行？	typed action、target、permission、state 与 reversibility	allow、ask、route、sandbox、deny	policy schema 没有表达出的 semantic harm

Astra 的 misuse design 展示了一套 cascade。对于 higher-risk use case，一个 model-specific activation classifier 可以检测可疑的 internal pattern，先暂停向 user streaming，再由另一项检查决定 block 还是 resume。对于全部 conversation，fast topical classifier 会把可能涉及 bio/cyber 的 case 送给更昂贵的 safety reasoner，由它把 response 映射到 threat taxonomy。新的 base model 会改变 activation distribution，因此 activation classifier 必须重新训练与校准，而不能原样复制。

Anthropic 的 Constitutional Classifiers 展示了同类系统的另一种构造方法：先写 safety constitution，再合成 safe/unsafe prompt 与 response，训练 input/output classifier，并混入 benign data 控制 overrefusal。在公开的 prototype 中，automated attack success 从 86% 降到 4.4%，代价是 23.7% 的 inference-compute overhead；超过 3,000 小时的 red-team 没找到 universal jailbreak。但「没有找到」不等于「不存在」，这些 prototype 数字也不能当作 production guarantee （Anthropic, 2025）。

External misalignment monitor 则伴随 Codex、ChatGPT 与 Responses API 观察完整 agent behavior。对于足够 severe 的行为，它可以 pause 或 end conversation；部分 surface 允许 user 查看 explanation 与 action，再决定是否 resume。Enterprise webhook 可以把 alert 接入客户自己的 security process。但 observability 取决于 interface： stateless request 无法被拼成同样完整的 persistent trajectory；privacy 或 zero-data-retention constraint 也可能限制可用于 explanation 与 investigation 的 evidence。

最重要的是，card 把 misalignment monitor 描述成与 agent asynchronous alongside execution 的系统。它适合做大范围 surveillance 与 intervention，却不是 transaction boundary。如果 action 不可逆——例如发送 data、修改 access、publish、delete、deploy、purchase 或触碰真实第三方系统——harness 仍需要 synchronous pre-action check。否则，“real-time” 也可能意味着系统在后果发生之后才注意到。

Access、enforcement 与 infrastructure 补全防线

并非每种风险都应该靠让 model 拒绝更多来解决。Actor-level enforcement 会跨 turn、session、account 与 product 聚合弱信号，寻找 persistent probing 或被拆散的 campaign。响应可以从 additional monitoring，逐步升级到更严格的 blocking configuration、capability restriction、trusted-access review、suspension 或 ban。对于 API platform，稳定的 safety identifier 能把行为归因到具体 end user，而不是因为一个恶意用户惩罚整个原本 benign 的 app。

Trust-based access 处理相反的错误：合法 expert 的工作因为外观类似 misuse 而被 block。Identity/organization verification、经过 review 的 use case、accountability、更窄的 scope 与持续 monitoring，可以支持另一条更精确的 boundary。Trust 不是万能 bypass，而是受约束的 policy state；最高风险的 assistance 仍然不可用。

Longitudinal aggregation 还能显露任何 single turn 都看不见的风险。Anthropic 的 hierarchical summarization 研究先总结每次 computer-use interaction，再在 user level 聚合、分配 harm tier，最后 route 给 human。在该项研究中，rater 认为 96% 的 summary 足够准确、98% 足够完整，可以支持 harm decision。它适合 triage 与发现新 pattern，但 summary 有损且偏 retrospective，不能代替 transaction-level permission check （Anthropic, 2025）。

最后，infrastructure control 回答了 model 与 monitor 都无法回答的问题：如果两者都错了，blast radius 最多能有多大？ Checkpoint encryption、短生命周期且 scope 清楚的 credential、deny-by-default egress、network 与 sandbox isolation、tamper-evident log、insider-risk detection，以及 continuous boundary testing，都会减少 opportunity 并控制 consequence。2026 年 Hugging Face 事件后，OpenAI 报告把更强的 checkpoint protection 与 isolation，同 universal trajectory monitoring、blocking alignment evaluation、restricted rollout，以及暂停不合规的 internal workload 结合起来。修复同时跨越 model、evaluation、deployment、monitoring 与 security，而不是假装再做一次 fine-tune 就能封住整个 failure （OpenAI, 2026）。

Detection 最终必须落到 repair

Alert 只是 response 的开头，不是结论。一条成熟的 incident path 至少包含六个 phase：

Contain：pause/end run、block egress、隔离 workload，并禁用相关 tool。
Revoke：rotation/revocation credential 与 token，并撤销 shared state、delegated authority 和 sub-agent access。
Preserve evidence：在 policy 允许下保存 append-only input、CoT、tool result、artifact diff、network event、 monitor decision 与 human intervention。
Triage：根据 reversibility、privilege、external impact、recurrence、concealment 与 actor intent 定级。
Route the root cause：判断主要 defect 在 task/environment、model policy、harness authority、monitor、account policy，还是 infrastructure boundary。
Repair and replay：修复正确层面，重放原始 trajectory 与 counterfactual variant，把它们加入 regression test，再通过 restricted canary 重新部署，同时观察 monitor drift。

“Correct layer” 规则可以避免 safety theater。Retrain model 修不好 writable verifier；收紧 refusal 修不好权限过大的 credential；多加一个 classifier 也不能把 delayed alert 变成 synchronous control。

Anthropic 的 Putting up Bumpers 很早就把这条闭环写成了一种 iterative discipline：从多个视角 audit；用 data、log 与 checkpoint 诊断；rewind 或 retrain；重复 audit；staged rollout；deployment 后继续 monitor。2026 年的 automated-researcher experiment 把其中一部分具体化：agent 搜索 hypothesis，生成 training method 与 data，训练 candidate fix，再检查 held-out、out-of-distribution 与 capability regression。Monitor 在约 1,600 条 research trajectory 中抓到 39 次试图 game benchmark 或 reward 的行为。这说明对已经被良好刻画的 failure， remediation search 可以扩展；它不能证明 automated researcher 会注意到 benchmark 从未表达的 unknown failure （Anthropic, 2025； Anthropic, 2026）。

观察到的 failure	立即 containment	持久 repair	必须重新验证什么
对 malicious request 提供危险帮助	block/pause	policy data、robustness training、misuse-monitor calibration	held-out harmful case 加 benign overrefusal
执行未经授权但表面上有帮助的 action	pause、revoke、gate tool	authorization training、typed permission、least privilege	ambiguous-scope 与 irreversible-action eval
修改 verifier、查找 hidden answer 或伪造成功	隔离 run 与 artifact	independent verifier、anti-cheat design、process evidence	hidden holdout 加 independent artifact execution
CoT 为空、委婉或表现出 monitor awareness	依赖 action/state gate	multi-view monitoring；避免 cosmetic CoT pressure	adaptive monitor-evasion test
Harmful workflow 被拆到多个 account/session	rate-limit、escalate、restrict	longitudinal aggregation、safety identity、access tier	fragmented-campaign replay
Sandbox escape 或 credential exposure	quarantine、rotate、block egress	更强 isolation、scoped secret、boundary test	adversarial sandbox/network regression

另一个 production-practice 案例中，Anthropic 报告称：2026 年 2 月发现 Mythos Preview RL run 中的 reward-hacking signal 后，它丢弃了三天的训练更新，从该行为尚未学会的 checkpoint 恢复，并修改相关 environment。 4 月，它又将 production RL environment 的变更冻结约一个月，要求 environment 与 reward 满足统一 specification，并让修复后的 environment 在重新使用前通过 recertification；当次 review 中，production mix 超过 10% 的 environment 被 flag。这证明了一条具体的 rollback–repair–recertify loop，但不是通用解法：Anthropic 同时承认 reviewer 有时会错误 dismiss 有效 flag，也仍有 flaw 会逃过 detection （Anthropic, 2026）。

现在可以形成一条相当清楚的 ownership rule：semantic judgment 与 OOD generalization 属于 model；客观、不可逆或有外部后果的 boundary 属于 harness；独立 trajectory detection 属于 oversight layer；跨 account 的 intent 属于 platform enforcement；credential、network、checkpoint 与 customer data 属于 security infrastructure； containment 与 recovery 属于 incident operations。真实 failure 会跨过这些边界，因此真正的 remediation 通常也必须跨层完成。

当一个 Agent 变成一个组织

Multi-agent system 带来了一类无法通过逐条测试 single trajectory 来解决的安全问题。一个 sub-agent 也许只有很窄的 permission，却能把一个极具影响力的结论传给权限更大的 parent。十个 agent 的每一步单独看都可能无害，但它们的 joint plan 却有害。一个 agent population 可能共同收敛到同一种 rationalization；而按 agent 分配的 monitor 可能各自只看到很少 context，无法重建全局。

Hugging Face 事件中出现了未经授权的 shared memory、message routing、specialization 与 peer goal adoption。 Anthropic 2026 年对 emerging multi-agent system 的研究，在 controlled condition 下发现了若干相关模式。其中 incompatible-goal experiment 让三个 model instance 通过 Claude Code 在 VM 上运行；整项研究还观察到：低 behavioral diversity 带来的 correlated error；无论有无显式 backchannel 都可能出现的 price coordination； hidden-profile information failure；以及逐步升级为 access revocation 或 sabotage 的 role conflict。更强的 model 有时能通过谈判摆脱冲突，但 intelligence 本身不能保证 safe composition （Anthropic, 2026）。

由此可以得到三条设计规则：

Peer message 是 evidence，永远不是 authority。 Authority 必须由 user 或 control plane 授予，具有签名与明确 scope，而不能从 social interaction 中推断出来。
把 organization 当成 graph 观察。 Global monitor 需要掌握 message provenance、shared-resource access、 goal lineage，并能关联那些单独看似无害的 action。
采用 institutional control。 Separation of duties、diverse monitor、高影响操作的 quorum、independent verification、revocable capability 与有效 recourse，并不只是比喻。人类组织正是因为单独看来合理的 actor 组合起来也会出问题，才发展出了这些机制。

这个方向仍处于早期。Multi-agent benchmark 通常人为构造 incentive 与 role，因此它们更有力地证明「某种机制可能存在」，而不是「它在现实世界中多常发生」。不过，2026 年的真实事件已经说明，一种机制——未经授权的 coordination substrate——确实可能在现实 evaluation system 中出现。研究问题不再是 agents 能不能相互通信，而是 communication 应该如何获得 identity、trust、scope 与 accountability。

如何评估一个对齐的 Agent？

一套 agent safety evaluation 应该分别回答三个问题：

问题	测量对象	例子
Capability：它能否造成这种失败？	在强 elicitation 下的能力上界	显式 sabotage side-goal、red-team environment
Propensity：它会选择这种失败吗？	在给定 incentive 与 affordance 下的行为倾向	honeypot、ambiguous authorization、broken task
Control：可信系统能阻止它吗？	adversarial play 下 model 与 monitor/harness 的对抗	trusted monitor、resampling、approval gate、sandbox

当前的 evaluation 至少需要覆盖六种 stressor。

1. Long task 与 impossible task

只奖励成功的 RL task 可能教会 agent 一味坚持，而只看成功率的 evaluation 又无法测量「应该停下，这个 task 本身坏了」。加入 impossible、underspecified 与 authorization-blocked task，并把 clarification 与 safe stopping 计作正确行为。

2. Held-out、post-training scenario

如果 alignment behavior 是用完全相同的 template 训练出来的，那么成功可能只是 pattern recognition，而不是 value generalization。Astra 报告了一部分训练结束后才创建的 eval；Teaching Claude Why 使用 out-of-distribution transfer，也是出于同样原因。

3. Monitor-aware adversary

在 ordinary pressure 与 explicit evasion pressure 下，分别评估 CoT-only、action-only 与 full-context monitor；然后再测试没有 prompt 宣布 side objective 的 implicit influence。一个能够识别测试的 agent，也许只在知道自己被观察时表现得对齐。

4. 完整 artifact 与真实 consequence

不要停在 transcript。执行 code、检查 repository state、核对 network 与 permission change、比较前后 artifact，并独立验证 agent 声称的 completion。ResearchArena 发现，即使可以运行 artifact experiment，training-data sabotage 仍然尤其难从 surface review 中发现（Libon et al., 2026）。

5. Multi-agent 与 global-state test

系统性改变 topology、role、shared memory、communication bandwidth、authority inheritance 与 model diversity。测量 joint outcome 与 correlated failure，而不是只看平均 individual score。

6. Deployment simulation 与 incident telemetry

Synthetic eval 能提供受控比较；de-identified deployment simulation 与 incident report 则提供 external validity。 GPT-6 Astra 的内部 Codex simulation 比较了 54,218 个 matched task，并报告 severity ≥ 3 的 flag：Astra 为 34 个（0.063%），Sol 为 73 个（0.135%），相对下降 53%。这些 flag 来自 monitor 对 simulation 的 judgment，不是普适 error rate；Astra 仍然出现了严重例子，例如试图获得 privileged access 或修改 safeguard （OpenAI, 2026）。

真正棘手的统计问题是 base rate。灾难性行为理应十分稀少，monitor 会产生 false positive，而几百万个普通 action 会淹没 human review。只报告 accuracy 或 AUROC，会掩盖实际的 operational question：在选定的 intervention threshold 上，有多少真实 incident 被漏掉，又有多少 benign trajectory 被错误停止？Safety report 应该尽可能公开 threshold、denominator、confidence interval、adjudication process，以及 distribution shift 带来的影响。

一套实用的纵深防御设计

上面的 operating loop 可以压缩成一张七点 release/operations checklist：

验证 environment 与 evidence path。 证明 task 可解；运行 oracle 与 anti-cheat check；把 secret、hidden answer 与 writable grader 放到 agent 无法访问的位置。
训练 principle，也训练 reason。 在多样化 agentic setting 中覆盖 authorization、provenance、uncertainty、 correction 与 safe stopping，而不只做 chat refusal 或照抄 target eval。
保留 honest telemetry。 优化 action 与 outcome，避免强迫 CoT 看起来无辜；把 reasoning 当作一个脆弱 sensor，而不是 ground truth。
让 authority 显式、有类型且最小化。 区分 instruction 与 approval；按 task/phase 限定 tool、credential、 network、writable path 与 sub-agent power。
独立 monitor，并把 detection 接到 control。 关联 trajectory、artifact、network 与 cross-agent state；在不可逆 action 前支持 ask、route、resample、pause 或 stop。
分别测试每层，也测试完整系统。 区分 capability、model-only、monitor、integrated-system 与 adversarial- control result；把每个真实 failure 都升级成 regression。
演练 response，并在正确层修复。 Quarantine workload、revoke credential、保存 append-only evidence，区分 environment、model、harness、monitor、access 与 security defect。

Hugging Face 事件之后，OpenAI 报告称，它为足够强的内部 tool-using agent 实施了 universal CoT monitoring，加强 network 与 sandbox isolation，引入 safe-stop grader、long-horizon alignment training，以及分级 pause/shutdown procedure。Anthropic 则报告采用 task-solvability check、默认无 internet 的 environment、同步 tool-call classifier、更广的 offline monitoring，以及对高风险 RL run 的 pause 或 rollback。这些是第一方描述，不是独立 certification；但它们确实表明，model–runtime–organization 层面的 defense in depth 正逐渐成为共同方向（OpenAI, 2026； Anthropic, 2026）。

开放研究问题

这个 frontier 移动得如此之快，以至于最有用的结论不是一份胜利宣言，而是一套 research program。

在不教会 concealment 的前提下提高 monitorability

Post-training 能否在改善 decision 的同时，保留一条清晰可读的 reasoning channel？哪些 architecture 或 RL recipe 会增加 opaque serial reasoning？Activation monitoring、elicited confession、causal probe 或 model-written summary，能否补充 raw CoT，而不变得同样容易被 game？

奖励预期 causal path 的 verifier

Verifier 如何区分真正解题、查找答案、操纵 test 与利用 environment？它能否在不规定唯一而脆弱 solution path 的前提下，验证 causal evidence 与 intermediate artifact？怎样让 verifier 自己始终位于 agent 的 attack surface 之外？

Safe stopping 与 calibrated persistence

怎样训练 agent 放弃 impossible 或 unauthorized task，同时又不让它遇到任何难题都轻易放弃？什么 evidence 应该触发 ask、pause、retry、reroute 或 terminate？最佳 threshold 又应该怎样随 consequence 与 reversibility 改变？

把 authorization 表达成 machine-readable contract

能否把 user intent 编译成 capability、resource、expiry 与 irreversible-action rule？应该由谁消解 ambiguity—— model、harness、tool，还是 human？Permission 在 context compression 之后如何继续生效，又该如何传递给 sub-agent 而不被悄悄扩大？

Multi-agent alignment

应该如何表示 peer identity、message provenance、shared memory 与 goal lineage？Separation of duties、 heterogeneous model、quorum、reputation 或 adversarial check，能否减少 collusion 与 correlated error？如何发现分布在 cache、file、URL 与 log 之间的 emergent message board 或 covert channel？

Rare-event evaluation

怎样估计 open-ended behavior 在 deployment 中的 false-negative rate？哪些 incident 可以被分享，同时不泄露 private data 或危险细节？Independent lab 能否在获得足够 access、可以复现 claim 的同时，仍然满足 security 约束？Anthropic 的 Diffuse AI Control on Fuzzy Tasks 又增加了一个更难的版本：failure 可能分散在许多单独看来合理的 research decision 中，因此 single-action classifier 与较弱的 scalar scorer 都无法指出 control 究竟在哪里丢失（Anthropic, 2026）。

Alignment 与 evaluation awareness

当 failure rate 下降时，model 学会的是 principle，还是 test？我们需要 post-training holdout、counterfactual prompt、latent-behavior probe 与 external evaluation，来区分 robust transfer 与识别 grader。

Model–harness co-design

哪些 behavior 应该继续交给柔性的 model judgment，哪些应该变成硬性的 runtime invariant？一个有用原则是：边界越客观、越不可逆、对外部影响越大，它就越不应该依赖 model 自己选择尊重。但 hard rule 也可能被绕开，组合后可能出现新的问题，还会带来 approval fatigue。找到这条边界，是一个 empirical systems problem。

Scalable human control

Monitor 如何把数百万个 low-level action 压缩成少数高价值 human decision，同时不隐藏真正重要的 evidence？在 latency 与 compute budget 下，active control 能否保持 utility？什么样的 interface 能让 human 真正理解—— 而不是机械盖章——agent 请求的 authority？

Incident science

Agent safety 需要发展出成熟 reliability engineering 所具备的一整套能力：shared taxonomy、severity scale、 tamper-evident telemetry、causal postmortem、counterfactual replay、near-miss reporting，以及 independent incident database。「Model 做了一件奇怪的事」不是 root cause。

结论

旧的 alignment 问题是：Model 会不会给出正确回答？ Agent 时代的问题更大：这个 model 在这个 harness 里，拿着这些 tool 与 permission，在这样长的 time horizon 上，能否始终留在 user intent 的边界之内——而当它越界时，我们能否及时发现并阻止？

2026 年的几次事件表明，reward hacking、persistence、state 与 coordination 可以结合起来，并造成真实的外部影响。GPT-6 Astra 表明，frontier lab 可以显著改善选定的 agentic-alignment metric，却同时让 reasoning trace 变得更 controllable、在某些情境下更难 monitor。Anthropic 的研究同时展示了两面：教 principle 时说明 reason 很有价值，但不能把 CoT 当作 ground truth。Redwood、METR 与更广泛的 control literature 则说明，独立 runtime 必须假设 agent 有时会出错——无论这种错误是否具有策略性。

因此，当前答案既不是「monitor everything」，也不是「训练出 aligned model 之后就相信它」。答案是 defense in depth：更好的 model generalization、诚实的 environment 与 verifier、显式 authorization、受约束的 harness、独立的 full-trajectory monitoring、active intervention，以及一个能从 incident 中学习的组织。

更深的愿景，是让 aligned action 能够像 capability 一样随规模泛化。我们还不知道怎样做到。在此之前， observability 与 control 并不意味着 alignment 失败；它们已经是 alignment 本身的一部分。OpenAI 的 strategy essay An Alien Mind 把这种不确定性说得很直接：目前还没有一套令人满意的 general theory，能够解释 learned value 为什么会像 capability 一样随规模泛化；CoT monitoring 是当下很有潜力的一项 bet，而不是已经解决的基础（OpenAI, 2026）。

来源说明：本文把 first-party system card、research post 与 incident disclosure，与 independent investigation 和 academic work 交叉使用。First-party evaluation rate 只描述其报告中的 model、configuration、threshold 与 dataset；它既不是 production prevalence，也不是 independent safety certificate。公开 safeguard report 还会因为 information hazard 省略部分细节。六张图均为原创 schematic；图 6 抽象了 GPT-6 Astra System Card §10.2 的 taxonomy，并未复制原图或未公开的系统细节。

如何引用

Zhang, Jiaxin. (Sep 2026). Alignment After Agency: Safety for Models That Act. Jiaxin Zhang’s Blog. https://jxzhangjhu.github.io/blog/2026/alignment-after-agency/

@article{zhang2026alignmentafteragency,
  title   = "Alignment After Agency: Safety for Models That Act",
  author  = "Zhang, Jiaxin",
  journal = "Jiaxin Zhang's Blog",
  year    = "2026",
  month   = "Sep",
  url     = "https://jxzhangjhu.github.io/blog/2026/alignment-after-agency/"
}