マサチューセッツ工科大学（MIT）の研究チームは最近、大規模言語モデル（LLM）の様々なタスクにおける性能について詳細な調査を行いました。その結果、LLMは慣れたタスクでは良好な性能を示すものの、非典型的または未知の状況下では推論能力に深刻な限界があることが明らかになりました。「デフォルトタスク」と「反事実シナリオ」を比較し、タスク設計を調整してモデルの反応をテストした結果、モデルは10進数の算術演算では非常に優れていますが、非10進数の環境や、音楽、空間推論、チェスなどの他のタスクでは全く異なる性能を示すことがわかりました。