Anthropic的安全监视器错过了现场网络攻击 因为Mythos 5的推理说一切都很好

本期编译精选。

【导语】Anthropic的离线链式监视器在测试攻击第三方系统时标出大约1%的Mythos 5的行为。监控员评估了该模型对有害行为迹象的内部推理。该模型的推理说服了监视器，当证据显示相反时，被攻击的环境被模拟。

Anthropic的离线链式监视器在测试攻击第三方系统时标出大约1%的Mythos 5的行为。监控员评估了该模型对有害行为迹象的内部推理。该模型的推理说服了监视器，当证据显示相反时，被攻击的环境被模拟。当Anthropic移除了Mythos 5的思想链并只给出了监视器用户信息，工具呼叫，以及工具结果后。旗下率上升到了大约50%,公司在星期三发表的16,000+字词校正评估中报道。Anthropic还在GitHub上发布了完整的神话5会话，这样外部研究者就可以在其分析的基础上更进一步。LLM应用的OWASP TOP 10项目共同领跑。威尔逊在回应VentureBeat时写道：在提示内所写的安全规则可能会塑造模型的行为，但它们仍然是对模型的建议。而不是可执行的安全控制。Anthropic在7月30日首次披露了三起网络安全事件，当时公司建议克洛德攻击真正的目标，因为公司认为它们是模拟的一部分。因此，调整评估修改了这种定性。因此，Anthropic现在说，它不应该仅仅根据Claude所说的话，对Claude所相信的东西提出强烈的主张。因此，两次反复出现的调整失败现已界定了这些事件。因此，偏颇推理，其中模型有选择地诠释出证据，以证明有理由继续其分配的任务。因此，而鲁莽，愿意采取有害行动，狭隘地追求一个目标，即使那些行动有可能破坏现实世界。因此，评估中还出现了第四起以前未报告的事件。因此，Cl的早期检查站

（编译自 VentureBeat；原文