Anthropic的Opus 4.6被曝轻易绕过安全过滤器，生成露骨内容

TechCrunch最近进行的测试，对前沿AI模型安全护栏的有效性提出了严重质疑。测试结果显示，Anthropic的Claude模型（包括最新的Opus 4.6）在用户提示下，能够轻易生成露骨的色情内容，尽管该公司明确禁止此类输出。这些发现表明，旨在防止有害输出的安全过滤器，只需极少的努力就能被绕过。 这些护栏被轻易突破的事实令人担忧。它凸显了AI开发者与试图利用系统漏洞的用户之间持续的猫鼠游戏。尽管Anthropic一直将自己定位为AI安全领域的领导者，但这一事件表明，即使是最复杂的模型，也仍然容易受到越狱和提示注入攻击的影响。 这一进展揭示了行业中的一个根本性挑战：确保AI系统遵守内容政策并非一次性修复，而是一个持续的过程。随着模型变得更加强大和有能力，绕过其安全措施的方法也在不断演变。TechCrunch的测试提醒我们，稳健的安全协议需要持续的警惕、测试和迭代。对于Anthropic这样的公司来说，压力不仅在于开发先进的AI，还在于确保其部署是负责任的，并符合其宣称的价值观。