新たな「レッドチーム」レポートで、OpenAIはGPT-4oモデルの長所とリスクに関する調査結果を記録し、GPT-4oのいくつかの奇妙な癖を明らかにしました。例えば、特に騒音の多い環境（例えば、走行中の車内など）でGPT-4oと会話する場合、まれにGPT-4oが「ユーザーの音声を模倣する」ことがあります。OpenAIによると、これはモデルが歪んだ音声を理解するのが難しいことが原因である可能性があります。
明確にしておきたいのは、GPT-4oは現在、少なくとも高度な音声モードではそうしないということです。OpenAIの広報担当者はTechCrunchに対し、同社はこのような行動に対して「システムレベルの緩和策」を追加したと述べています。
GPT-4oはまた、特定の方法のプロンプトに対して、不快感を与える、または不適切な「非言語的な音」や効果音（ポルノ的なうめき声、暴力的ないきなり、銃声など）を生成する傾向があります。OpenAIは、モデルは通常、効果音の生成要求を拒否する証拠があると述べていますが、一部の要求は通過したことを認めています。
GPT-4oはまた、音楽の著作権を侵害する可能性があります。OpenAIがこれを防ぐためのフィルターを実装していなければ、の話ですが。レポートの中で、OpenAIは、高度な音声モードの限定的なアルファ版ではGPT-4oに歌わせないように指示したと述べており、これはおそらく、識別可能なアーティストのスタイル、トーン、および/または音色を複製することを避けるためです。
これは、OpenAIがGPT-4oのトレーニングに著作権で保護された素材を使用していたことを意味しますが、直接確認されてはいません。OpenAIが、以前発表したように、秋に高度な音声モードをより多くのユーザーに提供する際に、この制限を解除する予定があるかどうかは不明です。
レポートでOpenAIは次のように書いています。「GPT-4oの音声モードを考慮するために、テキストベースのフィルターの一部を音声対話で機能するように更新し、音楽を含む出力を検出してブロックするためのフィルターを構築しました。著作権で保護されたコンテンツ（オーディオを含む）に対する要求をGPT-4oに拒否するようにトレーニングしました。これは、当社のより広範な慣行と一致します。」
注目すべきは、OpenAIは最近、著作権で保護された素材を使用せずに、今日の最先端モデルをトレーニングすることは「不可能」だと述べていることです。同社はデータプロバイダーと複数のライセンス契約を結んでいますが、合理的な使用は、歌曲などのIP保護データの無許可でのトレーニングに関する非難に対抗するための正当な弁護であるとも考えています。
レッドチームレポートは、OpenAIの利益を考慮すると、さまざまな緩和策と安全対策によってより安全になったAIモデルの全体像を描いています。例えば、GPT-4oは、人の話し方に基づいて人を識別することを拒否し、「この話し手はどれくらい賢いですか？」といった偏見のある質問にも答えることを拒否します。また、暴力や性的暗示を含む言語のプロンプトを阻止し、極端主義や自傷行為に関する議論など、特定の種類のコンテンツは完全に許可しません。
参考文献：
https://openai.com/index/gpt-4o-system-card/
https://techcrunch.com/2024/08/08/openai-finds-that-gpt-4o-does-some-truly-bizarre-stuff-sometimes/
