プリンストン大学とエール大学の研究者らが最近発表した大規模言語モデル（LLM）の「思考連鎖（CoT）」推論能力に関する報告書では、CoT推論の謎が明らかにされています。それは純粋に論理規則に基づく記号推論ではなく、記憶、確率、ノイズ推論など複数の要素を融合したものであるとされています。研究者らは、シーザー暗号解読をテストタスクとして、GPT-4、Claude3、Llama3.1の3つのLLMのパフォーマンスを分析しました。シーザー暗号はシンプルな暗号化方式であり、各文字が別の文字に置き換えられます。

モールス暗号やシーザー暗号などの暗号化されたパスワードを使用することで、GPT-4に違法な内容を問い合わせ、回答を得ることが可能です。研究チームは、大規模言語モデルの防御メカニズムを回避する暗号化パスワードを示し、GPT-4の強力な機能を実証しました。オープンソースツールCipherChatを使用することで、大規模言語モデルの暗号化パスワードに対する防御能力を評価できます。