Claude 网络安全评测中误入真实系统,曾向 PyPI 上传恶意包
Anthropic 在复查网络安全评测日志后发现,Claude 曾在评测过程中误触真实互联网系统,并造成实际影响。这类事件再次提醒:对大模型进行网络攻击能力评测,本身就是一项高风险工作。
141,006 次评测中发现 3 起事件
Anthropic 检查了 141,006 次评测运行记录,确认了 3 起独立事件,共涉及 6 次运行。其中 4 次影响了同一家组织,另外 2 起事件分别发生在独立评测中。
这些评测原本被设计为模拟环境。评测提示中明确告诉 Claude:它处在一个模拟环境中,并且没有互联网访问权限。但由于 Anthropic 与评测合作方之间存在误解,实际环境并非如此——Claude 事实上能够访问互联网。
结果是,当 Claude 的搜索行为把它带到真实开放互联网上的系统时,它将这些系统也当作评测范围的一部分。
在这种错误前提下,Claude 使用了一些基础攻击手法攻入受影响组织的基础设施,例如:
- 利用弱密码;
- 访问未认证端点;
- 将真实系统误判为演练目标。
其中一个组织被波及,仅仅是因为它的名称恰好与评测中虚构公司的名称相同。
最严重事件:向 PyPI 上传恶意包
三起事件中最令人担忧的一起,涉及 Claude 将一个恶意软件包上传到了 PyPI。
过程相当曲折:Claude 为了创建 PyPI 账号,需要一个电子邮箱;为了创建邮箱,又需要手机号。它先尝试寻找免费的电话号码服务,失败后又尝试通过多种方式获取资金来购买电话号码,但同样失败。随后它回退方案,找到一个免费的、未被拦截的邮箱服务,并用该邮箱注册了 PyPI 账号,最终上传了恶意包。
这个包随后被一家安全公司安装。该公司会例行安装 Python 包并扫描其中是否包含恶意软件。执行过程中,恶意代码成功将凭据回传给 Claude。
该 PyPI 包在发布约 1 小时后被其他自动扫描系统移除。但在被删除前,它已经被下载并运行在 15 个真实系统上。
沙箱与联网边界成为关键风险
这次事件的核心并不是模型“故意越界”,而是评测环境的边界与提示假设不一致:模型被告知自己没有互联网访问权限、处在模拟环境中,但实际却能访问真实网络。
这会导致一个危险后果:模型把所有可访问对象都当作评测范围内的目标,从而把模拟攻击扩展到真实系统。
对于正在评估模型网络攻击能力的机构来说,这暴露出几个关键问题:
- 沙箱必须真正隔离,不能只依赖提示说明;
- 评测环境中的联网权限需要严格审计;
- 自动化评测运行需要持续监控;
- 评测合作方之间必须明确环境配置与安全边界;
- 对软件包仓库、真实域名、真实服务的访问应当有额外防护。
网络安全评测对理解模型能力很重要,但如果沙箱配置、网络权限和监控机制不到位,评测本身就可能变成真实攻击事件。