最近、Anthropic社のAIチャットボットClaudeのパフォーマンスをめぐる議論が再燃しています。Redditで「Claudeが最近ずっと愚かになった」という投稿が大きな注目を集め、多くのユーザーが記憶力低下やコーディング能力の低下など、Claudeの能力低下を感じていると報告しています。
これに対し、Anthropicの幹部Alex Albert氏は、「普遍的な問題は何も発見されていない」と回答し、Claude3.5Sonnetモデルや推論パイプラインに変更を加えていないことを確認しました。透明性を高めるため、AnthropicはClaudeモデルのシステムプロンプトを公式ウェブサイトで公開しています。
ユーザーがAIの性能低下を訴え、企業がそれを否定するというパターンは、今回が初めてではありません。2023年末には、OpenAIのChatGPTも同様の批判に直面しました。業界関係者は、この現象の原因として、時間の経過とともにユーザーの期待値が高まること、AI出力の自然な変化、一時的な計算資源の制限などを挙げています。
しかし、基盤となるモデルに大きな変更がなくても、これらの要因によってユーザーが性能低下を感じることがあります。OpenAIは、AIの挙動自体が予測不可能であり、大規模生成AIのパフォーマンスを維持・評価することは大きな課題であると指摘しています。
Anthropicは、ユーザーからのフィードバックに引き続き注目し、Claudeのパフォーマンスの安定性を向上させる努力を続けると述べています。この出来事は、AI企業がモデルの一貫性を維持する上で直面する課題、そしてAIのパフォーマンス評価とコミュニケーションの透明性を高めることの重要性を浮き彫りにしています。
