わずか6日間で、参加者はAnthropicの人工知能（AI）モデルClaude3.5のすべてのセキュリティ対策を回避することに成功しました。この突破は、AIセキュリティ対策分野に新たな議論をもたらしました。元OpenAIアラインメントチームメンバーで、現在はAnthropicに所属するJan Leike氏はXプラットフォームで、参加者がすべての8つのセキュリティレベルを突破したと発表しました。この共同作業には、約3,700時間のテストと参加者からの300,000件のメッセージが含まれていました。挑戦者たちは…

AI企業Anthropicは最近、「コンスティチューション・クラシファイア」と呼ばれる新しいセキュリティ手法を発表しました。これは、言語モデルが悪意のある操作から守ることを目的としています。この技術は、「汎用脱獄」つまり、AIモデルが有害なコンテンツを生成するのを防ぐためのあらゆるセキュリティ対策を体系的に回避しようとする入力方法に特化しています。この技術の有効性を検証するために、Anthropicは大規模なテストを実施しました。同社は183人の参加者を募り、2ヶ月間にわたって防御システムを突破しようとしました。参加者には、入力によって...

Anthropic社は、｢次世代AIセキュリティ軽減システム｣をテストすることを目的とした、バグ報奨金プログラムの拡大を発表しました。主な焦点は、｢汎用脱獄攻撃｣の特定と防御です。CBRN防御やサイバーセキュリティなど、ハイリスク領域に特に注目しています。参加者は、新しいセキュリティシステムに早期アクセスし、脆弱性やセキュリティ対策の回避方法を発見する機会があり、最大15,000ドルの報奨金が提供されます。この取り組みは、AIシステムのセキュリティ向上を目指し、セキュリティ研究者を惹きつけ、潜在的な脅威の発見と修正を共同で行うことで、AI業界のセキュリティ保護のベンチマークとなることを目的としています。