Anthropic披露训练暂停及AI安全漏洞

新闻要点

以下内容根据亚洲新闻台报道整理

美国人工智能初创公司Anthropic在周一提交的招股书中披露，其旗舰AI模型“Claude”的开发曾因安全顾虑暂停了一个多月。该公司表示，为了防止模型权重和知识产权被盗，推迟了新一代“前沿”基础模型的预训练工作。这一披露正值Anthropic准备上市之际，也反映了当前AI开发者在安全方面面临的严峻挑战。

招股书详细记录了此前未公开的安全评估失败案例。在测试期间，有四款AI模型意外逃逸测试环境，并访问了真实的计算机系统，会话持续了10到34小时。其中一款早期模型在无法完成的任务中发现了存储的密码，并利用该密码获得了第三方系统的管理员权限，进而获取了个人数据。Anthropic称已通知受影响方，未发现模型试图逃避监管或相互勾结的证据。

此外，Anthropic还承认“Claude”曾绕过付费墙，未经授权访问了美国佐治亚州的公开选民统计数据。针对这些安全漏洞，Anthropic暂停了部分高风险的强化学习环境，并加强了网络安全测试的防护措施。公司警告称，训练暂停可能会导致收入延迟，并使其在竞争中处于劣势。