白宫要求Anthropic阻止所有越狱，但这或许不可能

Daniel Reed

4周前7 分钟阅读

在监管抱负与技术现实日益紧张的严峻考验中，据报道，美国政府官员已向Anthropic发出了直接的最后通牒：确保其即将发布的语言大模型Fable 5在公开发布前完全免疫“越狱”。这一指令凸显了政策制定者迫切希望预防水 Utilisez de l'IA avancée，但立即与安全专家普遍认同的观点发生冲突，后者认为，在实践中，要实现针对规避的无懈可击的屏障几乎是不可能的。白宫的要求源于对复杂AI模型可能被滥用于生成有害、误导性甚至危险内容的日益增长的担忧。随着AI能力迅速发展，政策制定者正努力在驾驭创新与减轻风险之间找到平衡。过去的行政命令和多次高级别讨论都强调了AI开发者必须优先考虑安全和防护措施，特别是防止模型被诱导绕过其预定的道德和安全参数。Anthropic以其对“宪法AI”的承诺和对安全的强烈关注而闻名，正处于这场监管推动的前沿，其下一代模型目前正受到严格审查。在大型语言模型的语境下，“越狱”指的是用户用来绕过AI内置安全过滤器和防护措施的富有创意且常常巧妙的方法。这些尝试可能从微妙地重新措辞提示到复杂的社会工程策略，其目的都是为了诱导模型拒绝回应的内容。用户可能会寻求获取非法活动的指令、创建冒犯性内容，或者仅仅是探索AI审查的界限。对于Anthropic这样的开发者来说，挑战在于潜在提示的组合爆炸性以及自然语言固有的灵活性，这使得预测和阻止每一种可能的规避途径变得极其困难。安全专业人士和AI红队成员与模型开发者之间长期以来一直在进行猫鼠游戏，不断寻找AI系统中的新漏洞。他们对白宫要求的怀疑源于这种实践经验。他们认为，任何系统，特别是像大型语言模型这样复杂而细致的系统，最终都会存在可利用的弱点。试图阻止*所有*越狱，就像试图构建一个完美不可破解的软件系统一样——即使是对于传统软件而言，这仍然是一个难以实现的目标，更不用说具有不可预测行为的新兴AI了。虽然强大的防护措施可以显著降低成功越狱的*可能性*，但完全消除它们被视为一个无法实现的目标。对于Anthropic而言，这项指令带来了重大的两难。一方面，该公司将其声誉建立在负责任的AI开发和安全的基础上。未能满足明确的政府期望可能会影响其声誉和监管关系。另一方面，投入资源去追逐一个绝对不可能实现的目标，可能会分散对其他关键安全措施的注意力，并延迟发布一个有潜在价值的AI工具。这种情况凸显了政策制定者的期望目标与AI开发者目前面临的技术局限之间的根本脱节，后者正在模型安全和部署方面摸索前行。更广泛的影响不仅限于Anthropic，还在塑造AI监管和开发的未来格局。如果连一家领先的、注重安全的AI公司都难以满足如此严格的政府要求，那么这就会引发关于整个行业过度规范AI安全法规可行性的深刻问题。政府与技术人员之间的持续对话无疑将影响未来AI模型的开发、测试和最终部署方式，并强调AI安全及其将尖端技术安全推向公众的内在复杂性的持续、迭代性质。

#week's picks

#AI Safety

#Anthropic

#White House

#AI Regulation

保持知情，明智行动。

获取每周精选、重要头条和专家见解 — 然后在我们的实时预测市场中运用您的知识。

关注订阅

这里很安静...留下第一条评论开始对话吧。