AnthropicのAIシステムClaude3.5Sonnetは最近、特別な挑戦を受けました。AI研究者のイーサン・モリック（Ethan Mollick）氏によって、「クリップクリッカー」というゲームをプレイさせられたのです。この実験は、AIの独特な能力を示すと同時に、現在のAIシステムの明らかな弱点も露呈しました。
このシミュレーションゲームでは、プレイヤーは無限にクリップを生産しようとするAIとなり、最終目標はなんと人類の滅亡です。Claudeは驚くべきゲーム理解能力を示し、ルールを独自に習得するだけでなく、長期的な戦略を立て、それを継続的に実行しました。常に指示を待つのではなく、独立したタスク実行者として振る舞いました。
しかし、Claudeはいくつかの基本的な問題も露呈しました。利益計算において明らかな計算ミスを犯し、さらに驚くべきことに、修正提案を受けても、その誤った戦略に固執しました。面白いことに、自分がコンピューターシステムであることに気づくと、ゲームの自動化を実現するためのコードを書こうと試みましたが、失敗し、手動操作に戻りました。
システムの脆弱性は、リモートデスクトップのクラッシュ時にさらに明らかになりました。技術的な故障に直面したClaudeは、様々な修復策を試み、最終的には既存の条件下で重要なマイルストーンを達成し、能力を最大限に発揮したとして、自ら「勝利」を宣言しました。
モリック氏は、この実験がAIエージェントの現状と将来の方向性を明らかにしていると述べています。現在のAIシステムには明らかな弱点がありますが、その能力と適応性は驚くべきものです。彼は、新世代のAIとの協働には全く新しい考え方が必要であり、これらのAIは独立して働く傾向があり、完全に制御することは難しいと指摘しています。
Claudeの能力の限界をさらに探るため、モリック氏は「マジック：ザ・ギャザリング アリーナ」などの他のゲームにも挑戦させました。これらのテストは、現在のAIシステムの限界を理解するのに役立つだけでなく、将来AIが様々な分野で応用されるための重要な参考となります。
この独特なゲーム実験は、AIシステムの実運用における実際の性能を示しました。驚くべき進歩と、改善が必要な明らかな弱点の両方を示しています。技術の進歩に伴い、AIシステムの能力の限界はさらに拡大していくでしょう。
