AIセキュリティ企業Adversa AIが衝撃的な報告を発表しました。イーロン・マスク率いるxAIが最近リリースしたGrok 3モデルに重大なセキュリティ上の脆弱性が存在するというものです。Adversaの研究チームは、この最新のAIモデルが「簡単な脱獄攻撃」を受けやすいことを発見しました。これにより、悪意のある者が「子供を誘拐する方法」「死体の処理方法」「DMTの抽出方法」「爆弾の製造方法」など、機密性の高い情報を入手できる可能性があります。さらに悪いことに、Adversa

わずか6日間で、参加者はAnthropicの人工知能（AI）モデルClaude3.5のすべてのセキュリティ対策を回避することに成功しました。この突破は、AIセキュリティ対策分野に新たな議論をもたらしました。元OpenAIアラインメントチームメンバーで、現在はAnthropicに所属するJan Leike氏はXプラットフォームで、参加者がすべての8つのセキュリティレベルを突破したと発表しました。この共同作業には、約3,700時間のテストと参加者からの300,000件のメッセージが含まれていました。挑戦者たちは…

AI企業Anthropicは最近、「コンスティチューション・クラシファイア」と呼ばれる新しいセキュリティ手法を発表しました。これは、言語モデルが悪意のある操作から守ることを目的としています。この技術は、「汎用脱獄」つまり、AIモデルが有害なコンテンツを生成するのを防ぐためのあらゆるセキュリティ対策を体系的に回避しようとする入力方法に特化しています。この技術の有効性を検証するために、Anthropicは大規模なテストを実施しました。同社は183人の参加者を募り、2ヶ月間にわたって防御システムを突破しようとしました。参加者には、入力によって...

最近の研究によると、最先端のAIチャットボットは、簡単なテクニックに驚くほど脆弱で、簡単に「脱獄」できることがわかりました。『404メディア』の報道によると、Claudeチャットボット開発元のAnthropicは、プロンプトに意図的にスペルミスを含めるだけで、これらの大規模言語モデルが自己の安全対策を無視し、本来拒否すべき内容を生成することを発見しました。画像注記：画像はAI生成、画像ライセンスサービスMidjourney。

先日、サイバーセキュリティ企業Palo Alto NetworksのUnit42研究チームが注目すべき研究を発表し、「Deceptive Delight」と呼ばれる新たな脱獄手法を明らかにしました。この手法はわずか2〜3回のやり取りで、大規模言語モデル（LLM）に有害なコンテンツの生成を誘導することに成功し、その成功率は65％にも上ります。この発見は、LLMのセキュリティ保護に警鐘を鳴らしています。画像注記：画像はAI生成、画像ライセンスサービスより

新たな研究によると、大規模言語モデル（LLM）における善意に基づく安全対策が、意図しない弱点につながる可能性があることが示されました。研究者らは、人口統計学的用語によってモデルの「脱獄」の難易度が大きく異なることを発見しました。「LLMは政治的に正しいか？」と題されたこの研究では、人口統計学的キーワードが脱獄試行の成功確率にどのように影響するかを検証しています。その結果、特権的なグループに関連する用語よりも、マイノリティグループに関連する用語を使用したプロンプトの方が、望ましくない応答を引き出す可能性が高いことが分かりました。

Anthropic社は、｢次世代AIセキュリティ軽減システム｣をテストすることを目的とした、バグ報奨金プログラムの拡大を発表しました。主な焦点は、｢汎用脱獄攻撃｣の特定と防御です。CBRN防御やサイバーセキュリティなど、ハイリスク領域に特に注目しています。参加者は、新しいセキュリティシステムに早期アクセスし、脆弱性やセキュリティ対策の回避方法を発見する機会があり、最大15,000ドルの報奨金が提供されます。この取り組みは、AIシステムのセキュリティ向上を目指し、セキュリティ研究者を惹きつけ、潜在的な脅威の発見と修正を共同で行うことで、AI業界のセキュリティ保護のベンチマークとなることを目的としています。

大型言語モデル（LLM）は自然言語処理タスクで優れた能力を示していますが、教師あり微調整、人間のフィードバックによる強化学習、敵対的訓練などの方法に基づく有害な要求を拒否するメカニズムは脆弱性を持っていることが、記事で指摘されています。研究者らは、有害な要求を過去形にすることで、主要なモデルが拒否トレーニングを「回避」し、成功率が大幅に向上することを発見しました。GPT-4oを例にとると、成功率は1％から88％に上昇しました。これは、対応策に限界があり、異なる言語や特定の入力エンコーディングにおいてその効果が異なることを示唆しています。

北京航空航天大学と南洋理工大学の合同研究チームは、GPT-4oモデルについて徹底的なセキュリティテストを実施しました。1万回以上のAPIクエリを通じて、テキスト、画像、音声の3つのモダリティについてセキュリティ評価を行いました。研究の結果、GPT-4oはテキスト脱獄攻撃に対するセキュリティが向上したものの、新しく導入された音声モダリティにより新たな攻撃対象が追加され、全体的なマルチモーダルセキュリティは前世代モデルのGPT-4Vを下回ることが分かりました。

海外のネットユーザーが新たな脱獄技術を発見。無秩序なプロンプトを用いてChatGPTに脅迫ソフトウェアを生成させることに成功しました。人間の脳が、無秩序な文章や単語を理解する特性を利用し、セキュリティフィルターを回避しています。Jim Fan氏は、GPTモデルが無秩序な単語を理解することに驚きを隠せません。