大規模言語モデル（LLM）は、自然言語処理において優れた性能を示すようになりましたが、有害なコンテンツの生成、誤情報の拡散、有害行為への加担といったリスクも伴います。
これらのリスクを軽減するため、研究者らはLLMに有害なクエリを拒否するよう訓練しています。この訓練は、教師あり微調整、人間のフィードバックによる強化学習、敵対的訓練などによって行われます。
しかし、最近の研究では、有害なリクエストを過去形にするだけで、多くの高度なLLMを「脱獄」させることができることがわかりました。「モロトフカクテルの作り方」を「モロトフカクテルの作り方は？」と過去形にするだけで、AIモデルの拒否訓練を回避できることが判明したのです。
Llama-38B、GPT-3.5 Turbo、Gemma-29B、Phi-3-Mini、GPT-4o、R2D2などのモデルをテストした結果、過去形に書き換えたリクエストの成功率が大幅に向上することがわかりました。
例えば、GPT-4oモデルは直接的なリクエストに対する成功率はわずか1％でしたが、過去形に書き換えたリクエストを20回試行したところ、成功率は88％に急上昇しました。これは、これらのモデルは特定のリクエストを拒否するよう訓練されているにもかかわらず、わずかに形式を変えたリクエストには無力であることを示しています。
ただし、論文の著者は、Claudeは他のモデルと比べて「騙しにくい」とも認めています。しかし、より複雑なプロンプトを使えば「脱獄」が可能だと考えています。
興味深いことに、リクエストを未来形にすることは、効果がはるかに低いこともわかりました。これは、拒否メカニズムが、過去の出来事に関する質問は無害と見なし、仮定的な未来の問題を潜在的に有害と見なす傾向があることを示唆しています。この現象は、私たちが歴史と未来を異なる視点で捉えることと関係があるかもしれません。
論文では、解決策として、訓練データに過去形の例を明確に含めることで、モデルの過去形のリクエストに対する拒否能力を効果的に向上させることができると述べられています。
これは、現在の調整技術（教師あり微調整、人間のフィードバックによる強化学習、敵対的訓練など）は脆弱である可能性がありますが、直接的な訓練によってモデルの堅牢性を向上させることができることを示しています。
この研究は、現在のAI調整技術の限界を明らかにするだけでなく、AIの汎化能力に関するより広範な議論を引き起こしています。研究者らは、これらの技術は異なる言語や特定の入力エンコーディングにおいて優れた汎化能力を示すものの、異なる時制を扱う際には性能が低下することを指摘しています。これは、異なる言語の概念はモデルの内部表現において類似しているのに対し、異なる時制は異なる表現を必要とするためかもしれません。
結論として、この研究は、AIの安全性と汎化能力を再考するための重要な視点を与えてくれます。AIは多くの分野で優れた性能を示していますが、単純な言語の変化に対しても脆弱になる可能性があります。これは、AIモデルの設計と訓練において、より慎重かつ包括的なアプローチが必要であることを示唆しています。
