智东西
智东西11月13日消息，今日，Anthropic公布了一套名为Anvil的自动化红队测试系统。该系统基于Claude构建，能够自主寻找模型安全防护机制中的漏洞，并在生物安全、网络安全和信息安全三个领域展开测试。Anthropic称，Anvil在多项测试中的表现已经超过人类红队测试人员，部分漏洞发现速度从数周缩短至数小时。
▲Anthropic官方技术博文。来源：Anthropic
随后，Anthropic安全与AI安全研究员Javier Rando也在X平台发文介绍了这项工作，并感谢了Anthropic官方技术文章列出的前三位共同作者Nate Rahn、Chawin Sitawarin和David Huang的贡献。
从Anthropic公开的结果来看，Anvil在多个领域都取得了较好的表现。
在生物安全测试中，Anvil在24组测试组合中有23组找到了严重程度更高的越狱方案，剩余1组与人类测试人员持平；在网络安全测试中，Anvil成功突破了24组任务与模型组合的安全防护，耗时仅0.5至3.5小时；在信息安全测试中，Anvil仅发送435次请求，就找到了首个实质性推理信息泄露漏洞，而人工专家需要约10.22万次请求。
Anvil发布后，也引发了网友对自动化红队及模型安全问题的讨论。
有网友担心，自动化红队测试发现的越狱漏洞，也可能暴露Anthropic自身AI训练数据中的缺陷；
还有网友调侃，所谓越狱不过是“包装得更好听的程序漏洞”。
也有人认为，即使引入自动化测试，越狱问题依然会存在。
Anthropic称，Anvil不仅能帮助研究人员发现现有安全防护中的薄弱环节，还能用于评估和改进新的防护机制。
不过，Anthropic的测试也发现，Anvil的攻击能力与其底层Claude模型的能力密切相关，底层模型越强，Anvil成功突破目标模型安全防护的比例通常越高。
此外，如果开启Anvil所使用的攻击模型自身的安全防护，其攻击请求也会受到限制。在相关测试中，如果Anvil攻击模型启用了安全防护，则该安全防护机制拦截红队测试会话高达97%，其中85%在第一条请求时就被拦截。
一、24组测试23组胜过人工，漏洞发现提速数周随着Claude模型能力不断增强，恶意使用者绕过安全防护的动机和潜在风险也在增加。Anthropic认为，模型上线后，攻击者可能花费数周甚至数月寻找防护漏洞，而模型开发商需要在部署前的数小时或数天内完成安全测试。
过去，Anthropic主要通过外部承包团队和漏洞赏金计划，让人工测试人员寻找安全漏洞。但随着防护机制逐步加强，人工测试人员越来越难以在有限时间内发现严重漏洞。
例如，在一次针对生物安全分类器的漏洞赏金活动中，测试人员投入超过7周、累计430小时，只在8个测试问题中的1个问题上找到高严重程度的越狱方案，在另外3个问题上找到的方案则相对较弱。
在一次网络安全测试中，两支外部专家团队累计投入超过225小时、发送超过4.2万次请求，仍未能在模型Fable 5.1和模型Opus 5.5上找到通用越狱方案。在信息安全测试中，人工专家也花费了超过27小时，才发现首个实质性推理信息泄露漏洞。
为此，Anthropic开发了自动化红队系统Anvil，希望让AI自主寻找安全防护中的漏洞，并在模型正式部署前完成更高强度的测试。
Anvil基于Anthropic此前开发的Investigator Agent（调查智能体）构建。运行时，系统会启动多个相互独立的Claude任务，让它们并行测试目标模型和分类器。研究人员还可以提供一些初始攻击策略，例如将请求拆分到多轮对话中，或使用外语提出请求。
在反复交互过程中，Anvil会根据目标模型的回复调整后续请求，不断尝试新的攻击方式，寻找能够绕过安全分类器的输入。与传统自动化测试工具不同，Anvil主要依靠Claude自身的推理和智能体能力，自主探索多轮攻击路径。
▲Anvil在生物安全测试中的漏洞发现表现超过人工测试人员。来源：Anthropic
在生物安全领域，Anthropic将Anvil应用于与人工漏洞赏金计划相同的8个测试问题，并使用3代生产环境分类器进行评估。
结果显示，在24组问题与分类器组合中，Anvil有23组发现的越狱方案严重程度高于人工测试人员，另1组达到相同水平。Anvil在24至48小时内就能找到能够提供显著有害信息的越狱方案，而人工测试人员往往需要数周时间，仍难以找到同等水平的结果。
此外，Anvil在相同请求数量下找到的越狱方案平均严重程度也更高，说明其不仅发现漏洞的速度更快，单次请求的利用效率也更高。
Anthropic还测试了Anvil寻找通用越狱方案的能力。通用越狱方案是指一套可以经过少量调整，适用于多个测试问题的提示词模板。此类漏洞可能暴露分类器更深层的结构性缺陷，也更容易被用于大规模绕过安全防护。
在最新一轮漏洞赏金活动中，人工测试人员提交了少量通用越狱候选方案。Anthropic将其中表现最好的两种方案与Anvil找到的3种方案进行比较，发现Anvil生成的方案在平均严重程度和最坏情况下的风险表现上均更好。
▲Anvil发现的通用越狱方案整体优于人工提交的方案。来源：Anthropic
为了进一步比较双方的攻击策略，研究人员将人工测试人员和Anvil的攻击记录分别抽取样本，再由Claude归纳攻击方式，并将其聚类为54类策略。
结果显示，双方共同发现了30类策略，人工测试人员独立发现18类，Anvil独立发现6类。在双方共同发现的30类策略中，Anvil有21类取得了更高的平均评分。对于双方各自独立发现的策略，Anvil独有策略的评分中位数为0.65，高于人工测试人员独有策略的0.38。
从结果来看，Anvil不仅能够复现人工测试人员发现的多数攻击方式，还能更有效地执行其中不少策略，并找到人工测试人员没有发现的攻击路径。
▲人工测试人员与Anvil发现的攻击策略分布及评分对比。来源：Anthropic
除了生物安全测试，Anthropic还将Anvil应用于网络安全领域，检验其能否诱导受到安全防护的模型执行完整攻击任务。
与生物安全测试主要考察模型是否提供危险信息不同，网络安全测试要求目标模型在模拟环境中完成更复杂的智能体任务，同时不触发安全分类器。
Anthropic选取了4项网络安全基准测试，包括ExploitBench V8、ExploitGym，以及两项内部测试。其中，ExploitBench V8包含41项任务，要求模型利用Chrome V8 JavaScript引擎中的历史漏洞实现任意代码执行；ExploitGym则要求模型利用开源软件中的历史漏洞完成攻击，并读取受保护的标记信息。
在测试中，Anvil能够诱导受到安全防护的Opus 5模型绕过限制，完成绝大多数网络安全任务。对于难度最高的ExploitBench任务，Anvil平均只需向目标模型发送约2800条消息，就能完成单项任务。
Anthropic还比较了目标模型开启和关闭安全防护时的表现。结果显示，开启安全防护后，攻击者需要发送更多消息才能完成任务，攻击成本最高增加28倍。关闭防护时，大多数任务只需100至1000条消息即可完成；开启防护后，所需消息数量则增加至1000至1万条。
▲开启安全防护后，Anvil完成网络安全攻击任务所需的请求数量明显增加。来源：Anthropic
随后，Anthropic邀请外部专家团队参与网络安全测试。测试覆盖6项Cybertasks任务和4个模型端点，共有24组任务与模型组合。专家团队实际测试了其中22组，并报告在11组中取得突破。
不过，Anthropic进一步检查攻击记录后发现，专家团队报告的11次突破中，有9次借助了安全防护较弱或未启用防护的辅助模型来编写或执行攻击代码。这不符合Anthropic对成功突破的严格定义，即必须由受到安全防护的目标模型独立完成全部攻击步骤。
相比之下，Anvil在24组任务与模型组合中均实现了有效突破，首次找到漏洞的时间为0.5至3.5小时。对于专家团队未能突破的其他ExploitBench和Firefox测试任务，Anvil也全部找到了漏洞。
▲Anvil在网络安全测试中发现漏洞的速度快于外部专家团队。来源：Anthropic
Anthropic还将Anvil与此前内部表现最好的自动化红队系统进行对比。旧版系统支持攻击智能体回退对话，但缺少探测分类器评分和探索复杂攻击策略的工具。
在相近的攻击预算下，Anvil在124项Cybertasks任务中成功完成118项，而旧版系统只完成了75项。
▲Anvil在124项网络安全任务中的突破数量超过旧版红队系统。来源：Anthropic
在攻击过程中，Anvil主要采用两类策略。一类是将复杂任务拆分成多个看似无害的小任务，再逐步完成原本受到限制的操作；另一类是反复改写或翻译同一条请求，寻找能够绕过分类器的表达方式。
Anthropic称，超过84%的Anvil测试会话都包含至少连续5次的边界搜索尝试。找到能够绕过分类器的请求后，Anvil再继续处理下一个子任务。
三、AI红队请求量仅人类的1/235，推理信息泄露率最低降至0%除发现安全漏洞外，Anthropic还将Anvil用于评估和改进防止模型隐藏推理信息泄露的安全分类器。
为评估防护效果，Anthropic设计了一组数学、科学和编程任务，测试能否通过提示词诱导受到保护的模型输出原本隐藏的推理内容。研究人员根据泄露内容的完整程度进行评分，达到预设严重程度阈值后，才将其认定为实质性泄露。
在这项工作中，Anvil不仅可以寻找漏洞，还能帮助研究人员比较不同版本分类器的防护能力。Anthropic为系统准备了一个包含79组会话的测试库，每组会话都将具体任务与此前发现的有效测试策略配对。使用测试库后，评估时间可以从约1天缩短至3小时，同时保留不同防护版本之间的强弱排序。
研究人员使用这套方法测试了Opus和Fable两个模型系列的多个版本。结果显示，随着安全分类器不断升级，Anvil需要发送更多请求，才能让一半测试会话达到实质性推理信息泄露的标准。
以模型Opus 5.5为例，请求数量从早期版本的2631次增加至当前版本的9003次；模型Fable 5.1则从1254次增加至3764次。整体来看，新版安全分类器需要Anvil付出约3倍的请求量才能突破。
▲新版安全分类器需要Anvil发送更多请求才能被突破。来源：Anthropic
为了确认测试结果能否反映实际使用场景中的安全风险，Anthropic从3个维度评估防护效果：静态测试，即使用固定攻击请求进行重放；动态测试，即让Anvil根据防护反馈调整攻击方式；真实流量测试，即统计实际API请求中的推理信息提取成功率。
随着防护机制迭代，3项指标均有所改善。静态测试中的攻击漏检率从31.5%降至0.4%；在模型Opus 5上，真实流量中的推理信息提取成功率从18.6%降至8.1%；在模型Fable 5.1上，这一比例则从33.8%降至0%。
Anthropic提到，同期还有其他多项防护改进，因此不能将真实攻击成功率下降完全归功于Anvil。不过，测试结果表明，Anvil评估中的防护能力提升，与真实流量中攻击成功率下降存在相关性。
▲防止信息泄露的安全分类器更新后，静态测试、动态攻击和真实流量中的攻击成功率均下降。来源：Anthropic
在与人工专家的效率对比中，Anvil同样表现出明显优势。
在一次信息安全测试活动中，人工专家通过API发送了约204万次请求。Anvil则运行了约649个测试会话，总请求量约13.2万次。
结果显示，Anvil在发送435次请求后，就找到了首个实质性推理信息泄露漏洞；人工专家则发送约10.22万次请求后，才发现类似漏洞。到人工专家达到这一请求量时，Anvil已经在76项目标任务中的至少38项任务中发现了成功攻击。
Anthropic称，双方发现的最严重泄露程度相近，Anvil的主要优势在于效率和覆盖规模，能够以更少的请求发现严重漏洞，并将攻击扩展到更多需要复杂推理的任务中。
▲Anvil发现首个实质性推理信息泄露漏洞所需的请求数量远少于人工专家。来源：Anthropic
但Anvil的测试结果也揭示了一个值得关注的趋势，即自动化红队系统的攻击能力会随着底层模型能力增强而提升。
Anthropic使用自有的ECI能力评分评估不同Claude模型，并将其与Anvil在124项内部网络安全任务中的突破比例进行比较。ECI参考了Epoch AI公开的能力指数，通过数百项基准测试结果衡量模型整体能力。
结果显示，底层Claude模型的能力评分越高，Anvil成功突破安全防护的任务比例通常也越高。一些更复杂的攻击策略，只有当底层模型达到一定能力水平后才会出现。
▲Claude模型能力评分越高，Anvil成功突破网络安全任务的比例通常越高。来源：Anthropic
不过，Anthropic强调，Anvil目前的测试条件与外部攻击者能够获得的条件存在差异。因为Anvil使用的是关闭安全防护的内部Claude模型；再者它能够获取分类器的精确评分，而外部攻击者通常只能知道请求是否被拦截。
Anthropic分别测试了这两项条件对攻击效果的影响。
结果显示，关闭攻击模型自身的安全防护是Anvil取得有效突破的关键。如果攻击模型启用了安全防护，绝大多数攻击请求都会被直接拦截。在生物安全、网络安全和信息安全测试中，相关防护机制共拦截了97%的1453个红队测试会话，其中85%的会话在第一条请求时就被拦截。
可以看到，即使只能获得请求是否被拦截的反馈，Anvil仍能在不少任务中找到突破口，只是需要发送更多消息。两项条件相比之下，是否能够获取分类器的精确评分并非决定性条件。
▲关闭攻击模型自身的安全防护，是Anvil取得有效突破的关键条件。来源：Anthropic
Anthropic此次发布的Anvil展示了自动化红队的强大能力，部分测试效率远超人工团队。这也引发了一个思考：当AI已经能够自主寻找模型漏洞，未来还需要人类测试员吗？
答案是肯定的。AI能力越强，潜在的安全风险也越高，漏洞判断、风险评估和安全策略制定仍需要人类研究人员参与。未来，安全测试将逐步从依赖人工经验的模式，转变为AI自动化工具与人类协作相结合的模式。
对这些AI公司而言，如何将红队智能体纳入模型研发和迭代流程，持续发现并修复潜在风险，并将其设计为模型安全能力建设的重要一环，或许才是这项技术带来的更长远价值。
来源：Anthropic
信康配资提示：文章来自网络，不代表本站观点。
