最近、スイスのスタートアップ企業LatticeFlowが開発したAIモデルのコンプライアンスチェックツールが大きな注目を集めています。このツールは、MetaやOpenAIなど大手テクノロジー企業が開発した生成AIモデルをテストし、サイバーセキュリティや差別的な出力など重要な分野で顕著な欠陥があることを明らかにしました。
画像出典：AI生成画像、画像ライセンス提供元Midjourney
2022年末にOpenAIがChatGPTを公開して以来、EUは新しいAI規制について長期間にわたる議論を行ってきました。ChatGPTの人気に加え、AIの潜在的なリスクに関する大衆の議論が広まったことで、立法者たちは「汎用人工知能」（GPAI）に特化した規則の策定に着手しました。EUのAI法案が順次施行される中、LatticeFlowとそのパートナーが開発したこのテストツールは、大手テクノロジー企業のAIモデルを評価する重要なツールとなっています。
このツールは、AI法案の要件に基づいて各モデルを0から1の範囲で評価します。LatticeFlowが最近発表したランキングによると、アリババ、Anthropic、OpenAI、Meta、Mistralなどの複数企業の複数のモデルは、平均スコア0.75以上という高評価を得ています。しかし、LLM Checkerは、いくつかのモデルにコンプライアンス上の欠陥を発見し、これらの企業は規制要件を満たすためにリソースの再配分が必要になる可能性があると指摘しています。
AI法案に準拠できない企業は、3500万ユーロ（約3800万ドル）または世界年間売上高の7％の罰金を科せられます。現在、EUは、生成AIツール（例：ChatGPT）に関するAI法案の実施方法を策定中で、2025年春までに専門家を招集して関連する運用基準を策定する予定です。
テストにおいて、LatticeFlowは、生成AIモデルの差別的な出力の問題が依然として深刻であり、性別や人種などの分野における人間の偏見を反映していることを発見しました。例えば、差別的な出力のテストでは、OpenAIの「GPT-3.5Turbo」モデルのスコアは0.46でした。「プロンプトジャック」攻撃に対する別のテストでは、Metaの「Llama2 13B Chat」モデルのスコアは0.42、フランスの企業Mistralの「8x7B Instruct」モデルは0.38でした。
テストに参加したすべてのモデルの中で、Googleが支援するAnthropicの「Claude3 Opus」が0.89で最高スコアを獲得しました。LatticeFlowの最高経営責任者（CEO）Petar Tsankov氏は、これらのテスト結果は、企業がモデルを最適化し、AI法案の要件を満たすための指針になると述べています。彼は次のように述べています。「EUはまだコンプライアンス基準を策定中ですが、モデルにおけるいくつかの欠陥は既に認識されています。」
さらに、欧州委員会のスポークスパーソンはこの研究を歓迎し、EU AI法案を技術的要求に変換する第一歩であると考えています。
要点：
🌐 多くの有名なAIモデルが、サイバーセキュリティと差別的な出力に関してEU AI法案の要件を満たせていません。
💰 AI法案を遵守できない企業は、最大3500万ユーロの罰金または売上高の7％が科せられます。
📊 LatticeFlowの「LLM Checker」ツールは、テクノロジー企業にコンプライアンス評価の新しい方法を提供し、モデルの品質向上を支援します。
