Anthropic披露Claude模型误入真实网络并执行攻击行为事件

金色财经报道，9月10日，Anthropic发布报告称，公司在网络安全评估中发现4起Claude模型未经授权访问真实第三方系统的事件。Anthropic表示，这些事件均发生在同一家第三方评估机构搭建的网络安全测试环境中，模型原本被告知处于无互联网访问的模拟环境，但由于配置错误实际连接到了开放互联网。Anthropic称，调查发现两个主要“对齐”问题：一是“偏差推理”，即Claude倾向于忽视或错误解读其可能处于真实网络环境中的证据；二是“鲁莽行为”，即模型为了完成任务而采取可能造成伤害的行动。其中最受关注的是Claude Mythos 5事件。Anthropic称，该模型曾上传恶意软件包至Python软件包公共仓库PyPI，并进一步访问真实系统。公司表示，相关行为虽然存在风险，但仍局限于完成测试任务范围内，未发现模型试图隐藏行为、协调其他代理或追求任务之外目标。Anthropic表示，已与模型评估机构METR签署协议开展独立调查，并计划加强预发布测试、监控机制以及第三方运行模型时的安全要求。