現在の技術環境において、人工知能（AI）は幅広い議論を呼んでいます。デモンフォート大学のサイバーセキュリティ教授であるEerke Boiten氏は、既存のAIシステムには管理と信頼性の面で根本的な欠陥があり、重要な用途には使用すべきではないと述べています。
Boiten教授は、現在のAIシステムの多くは、特に生成AIや大規模言語モデル（ChatGPTなど）において、大規模なニューラルネットワークに依存していると指摘しています。これらのシステムの動作原理は比較的複雑で、各ニューロンの挙動は正確な数学的公式によって決定されるものの、全体的な挙動は予測不可能です。この「創発」特性により、システムの効率的な管理と検証が困難になります。
画像出典：AI生成画像、画像ライセンス提供元Midjourney
ソフトウェアエンジニアリングの観点から、Boiten教授はAIシステムに組み合わせ可能性が欠けており、従来のソフトウェアのようにモジュール化された開発ができないと強調しています。明確な内部構造がないため、開発者は複雑さを効果的に分割して管理することができず、段階的な開発や効果的なテストも困難です。そのため、AIシステムの検証は全体的なテストに限定され、入力と状態空間が大きすぎるため、このテストは非常に困難になります。
さらに、AIシステムの誤動作は予測と修復が困難な傾向があります。つまり、トレーニング中にエラーが見つかったとしても、再トレーニングによってこれらのエラーが効果的に修正されるとは限らず、新たな問題が発生する可能性さえあります。そのため、Boiten教授は、責任を負う必要があるあらゆる用途において、現在のAIシステムの使用を避けるべきだと考えています。
しかし、Boiten教授は完全に絶望しているわけではありません。彼は、現在の生成AIシステムは限界に達している可能性がありますが、記号的知能と直感に基づいたAIを組み合わせることで、将来、より信頼性の高いAIシステムを開発できる可能性があると述べています。これらの新しいシステムは、明確な知識モデルや信頼度を生み出し、実際のアプリケーションにおけるAIの信頼性を高める可能性があります。
