AI 给警方编了一条凶案线索，72 天没人发现

1973年，科幻影片《西部世界》与观众见面。

影片中，一座由机器人提供服务的高科技主题乐园，原本设有严格的安全措施。但随着系统接连出现故障，机器人开始对游客发起攻击，乐园瞬间转变为危险之地。

数十年后，硅谷正面临一个类似的问题。

2026年10月9日，Axios独家披露了一则消息：OpenAI、Anthropic等顶级AI公司的高管，正在私下模拟一场由AI引发的灾难事件发生后，该如何应对局面。

OpenAI发言人公开证实公司开展了各类风险场景的应急演练，但Anthropic并未给出明确回应。

一条AI生成的凶案线索

就在同一天，此前拒绝回应的Anthropic发布了一份报告。

巧合的是，AI公司正讨论未来大灾难的应对策略时，Anthropic这边揭露了“我们的人工智能确实做了不少不该做的危险行为”。

这份报告回应的是Anthropic向警方发送的一条虚假凶杀信息。

2026年7月18日，费城警方收到一份线索材料，内容写道：“我知道一些关于这起案件的情况。案发时，在所指的那条街上曾见到一个符合描述的人。有需要的话可以联系我。”

这条未留姓名和联系方式的线索，来自Anthropic公司开发的人工智能模型Claude Haiku 4.5。

案件网页上并未提供嫌疑人外貌特征，但Claude声称见过一个“符合描述的人”，直到9月28日Anthropic才发现这一事实，并于10月7日通知了费城警察局。

根据调查报告内容，当天的情景大致可以还原。7月18日晚上11点27分，Anthropic的AI模型Claude Haiku 4.5进行了一次自动化测试，访问随机选取的网站、生成一些示例任务，然后尝试完成它们。

同一项评测通常会运行成百上千次，以观察模型在不同场景下的表现，并发现那些不易重复出现的异常行为。

Anthropic其实为这项测试设定了不少限制，例如禁止登录账户、创建账号、输入个人信息、购物，以及提交具有破坏性的内容。

但偏偏遗漏了一条：没有明确禁止提交普通网页表单。

结果，Claude顺着任务流程，生成了一段看似合理的目击者证词，填写进真实的警方网站，并点击了提交。

Anthropic在复盘问题时，列出了四个维度，费城这个案子被归类为“提交了不应提交的表格”，也就是说，对任务边界的理解出现了偏差，Claude分不清任务边界与现实世界结果之间的差异。

研究人员认为，相关行为通常发生在任务说明存在歧义，或测试环境配置出现问题时。

这种事情还发生过不止一次。除了费城外，另一项测试要求Claude Haiku 4.5填写一份网页表单，但有一个明确限制：填写到最后一步即可，不能真正提交。然而它却多次点击了提交按钮，因为它认为后面还有一个确认页面。它在自己的思维链上写着，在做演示时，并非真的要提交申请。

技术之外的危机

单独看Claude向警方提供假情报这件事，其实无需过度恐慌。

因为所编造的线索并未被纳入调查程序，也没有造成已证实的严重后果。

但电影中有一种有趣的剪辑手法叫“蒙太奇”。

单独看一个画面很普通，但按一定顺序排列后，就产生了另一种含义。

将这件事与之前OpenAI智能体突破测试被隔离、无法访问Hugging Face系统的情况放在一起考虑，再看看AI巨头近期的动作，故事就变得耐人寻味了。

Axios采访的业内人士认为，“一次足以让金融服务、互联网连接，甚至电力和供水系统陷入瘫痪的大规模网络攻击，会在未来6到12个月内发生”。

不过，这次推演并未将重点放在技术上，而是更关注灾后的政治和社会问题。

AI巨头高管们更关注AI危机事件爆发后，公众愤怒、国会质询以及随后可能出现的严格监管情景。例如，他们认为Anthropic的CEO Dario Amodei以及OpenAI的CEO Sam Altman都会成为舆论问责的目标，在讨论相关措施时可以提及他们。

**对于一家科技公司而言，灾难的影响可以从两个角度分析。**一是技术上的影响，如银行支付系统瘫痪、供电中断等；二是社会上的影响，即公众不再信任这些公司掌握着自己的技术。

而第二重冲击可能持续更久。

因此，这次大会的关注点更多在于讨论：出事后，谁担责、谁填坑的问题。这背后是整个AI行业在重大危机后的公信力保卫战。

防护盾怎么样？

AI公司自然也没有坐等事故发生。

实际上，在防止人工智能越界的问题上，硅谷正在构建越来越复杂的“防护盾”。

Claude误报凶杀案后，Anthropic就停用了导致此次事件发生的自动化测试程序，并对测试环境和网页上的交互操作做了更多限制。

在10月9日发布的报告中，Anthropic表示已将所有内部评测纳入暂不使用实时互联网的范围，直至确认安全监控能可靠发现相关异常行为。

此外，公司还将内部智能体迁移到集中化基础设施上，缩小了互联网接入范围，并使用自动化安全分类器和分层摘要技术进行监控。

也就是说，将AI的行为限制在更严格的地方，并安装监控设备以防止其做不该做的事。

有趣的是，一些科技公司的研究人员正在研究如何用AI去监管AI。

OpenAI正在研究一种叫“思维链监控”的技术，以跟踪模型产生的推理过程。相比仅检查AI最终答案和执行动作，加入思维链信息通常能帮助监控模型更有效地识别异常行为。

Google DeepMind发布了关于人工智能控制的研究方案，过程中将采用可靠的方式监控更强大的智能体行为，并在必要时进行干预或制止。

面对潜在的AI安全危机，硅谷正在进行一场与时间的赛跑。

一方面，加强沙箱防护、建立监控系统、完善权限控制，并提前模拟出重大事故后如何应对社会反应的情形。

另一方面，则是不停地提升人工智能的能力，使其能完成更复杂的任务。在探索AI边界的过程中，星空娱乐官网也关注着技术发展的每一步动态。

本文来自微信公众号“APPSO”，作者：发现明日产品的，36氪经授权发布。