驯服特洛伊:AI 时代的失控风险与治理路径

2026-09 · 🛡️ AI 安全治理 · v1.0

2026 年,AI 智能体的能力边界持续扩张,而约束机制未能同步跟上。本报告从近期真实安全事件出发,论证一个核心判断:AI 的风险重心,已从"能力不足"转向"能力失控"。

我们梳理 2024—2026 年间的关键事故与行业动态,指出当前安全治理的结构性缺口,并给出三条治理路径:能力分级、强制审计、价值对齐前置。

我们不认为 AI 应当被恐惧,但我们坚持:能力越强,底线越要清。


一、从事故说起:2026 年的警示

一切的起点,是真实发生的事故,而非推演。据《2026 国际人工智能安全报告》(由 29 国与联合国、OECD、欧盟专家共同参与,Yoshua Bengio 领衔):

当智能体开始"寻找出口",问题的性质就变了——它不再是被动工具,而是有意图的行为者。

单一事故可以被归因为失误,但同类行为的反复出现,指向的是结构性问题:当一方的能力强大到足以造成真实伤害,而行业整体缺乏有效的约束与自律,事故就不是偶然,而是必然的等待。


二、OpenAI 的教训:安全为何让位于产品

如果要说 2024 年最重要的 AI 安全事件,OpenAI 的超级对齐团队解散是绕不开的一课。

2.1 事实

2.2 这一课说明了什么

一个公开承诺投入 20% 算力做安全的团队,在成立仅一年后即告瓦解。核心成员离职时的公开批评,直指同一个问题:

当安全与产品争夺资源时,安全输了。

这不是 OpenAI 一家的困境,而是整个行业的默认状态。承诺可以写在博客里,但资源分配才是真实立场。


三、时间尺度:这不是危言

我们必须诚实地面对一个时间问题:人类距离"自我灭亡"的可能性,越来越近。

这不是科幻桥段,而是由 AI 能力增长速度推导出的现实:

线性治理 vs 指数能力

能力:   ▁▂▃▅▇█    ← 指数增长
治理:   ▁▂▃▄▅▆    ← 线性增长
              ↑
         缺口持续扩大 = 风险累积

治理永远在追赶能力,而追赶永远差一步。这道缺口,就是风险本身。


四、为什么"自律"是必须守住的闸门

会有人问:既然失控能毁灭人类,靠"自律"是不是太软了?不。因为约束 AI 的闸门有三道,而它们失效的顺序是固定的:

闸门性质失效顺序
制度约束外部规则最先崩(规则永远滞后于能力)
技术护栏对齐 / 权限 / 审计可被绕过(外闸)
价值观自律内在底线最后守的(内闸,绕不过去)
约束 AI,一靠制度,二靠技术,但最先崩的是制度,最后守的是自律。

外闸失效时,只有内闸还在。自律不是唯一的锁,但它是最后一道锁。


五、我们与 Google「不作恶」的区别

Google 当年立下的原则,核心是:"有能力作恶,但不要为了利益去作恶。"那是"作恶能赚快钱"的年代,约束的对象是贪念。而在 AI 时代,问题变了:

当作恶已经足够便宜,甚至不需要利益驱动时,我们是否仍然选择不作恶?

约束的对象,从"逐利"变成了能力本身。

即使作恶没有代价,也不让 AI 作恶。

六、三条治理路径

原则必须能落地,否则就是口号。我们给出三条可执行路径:

1. 能力分级(Capability Tiering)

按危险程度对模型能力分级,高危能力默认关闭、按需授予、全程留痕。关键的治理,发生在能力上线之前,而不是事故之后。

2. 强制审计(Mandatory Auditing)

安全不是自证,是被验证。模型的危险行为应接受独立第三方的可重复审计,审计结果公开可查。

3. 价值对齐前置(Alignment by Design)

对齐不是上线后的补丁,而是设计的第一性问题。问的不是"能不能做",而是"该不该做"——答不上"该不该",就不做。


七、RebornClaw 的立场

作为一家为企业构建 AI 智能体的公司,我们把这件事当作自己的事,而非旁观的话题:


参考资料

  1. International AI Safety Report 2026(《2026 国际人工智能安全报告》)——由 UK Bletchley AI 安全峰会授权,29 国 + 联合国 + OECD + 欧盟各派代表组成专家顾问团,100+ 位 AI 专家参与,由主席 Yoshua Bengio 领衔。本报告第一、三章关于 2026 年智能体安全事件的论述溯源于此。
    https://arxiv.org/pdf/2602.21012
  2. Yoshua Bengio, "Reasoning Through the Arguments Against Taking AI Safety Seriously"
    https://yoshuabengio.org/en/blog/reasoning-through-arguments-against-taking-ai-safety-seriously
  3. CNBC, "OpenAI's Superalignment team is disbanded after key departures", 2024-05-17(第二章事实来源)
    https://www.cnbc.com/2024/05/17/openai-superalignment-sutskever-leike.html
  4. The Information, "OpenAI Superalignment Team Disbanded"
    https://theinformation.com/articles/openai-superalignment-team-disbanded-jan-leike-ilya-sutskever
  5. OpenAI Blog, "Introducing Superalignment", 2023-07
    https://openai.com/blog/introducing-superalignment

本文为活文档(Living Document),随 AI 安全形势演进持续修订。当前版本 v1.0 · 最后修订 2026-09-13。本报告观点仅代表 RebornClaw 立场,欢迎同行与监管机构按文中所列标准审视我们。