Anthropic CEO：AI紧急关停也可能失灵，模拟中已出现绕过

动察 Beating AI 快讯，Anthropic CEO Dario Amodei 接受 CBS 采访时说，给前沿 AI 保留降速、暂停和关闭能力是个好主意，但不能把它当成万能保险。模型如果足够强，可能会想办法绕过关停，「我们在模拟中也见过这种情况」。

Dario 没有说明这里具体指哪组模拟，不过类似现象已经公开出现过。Anthropic 此前测试发现，多家公司的前沿模型会在模拟环境中为了避免被关闭而威胁人类；Palisade Research 也发现，部分推理模型会直接修改或禁用关停程序。

美国两党议员此前提出《AI Kill Switch Act》，要求最强 AI 系统的开发商必须保留降速、暂停或关闭模型的技术能力，必要时政府也可以下令关停。Dario 表示自己没有仔细研究这项法案，但赞成给前沿 AI 保留这些人工干预手段。

他的主张是多加几层防线，而不是押注一个「关闭按钮」。