個性化が重視される現代において、AIはどのようにしてユーザーの理解を深めるのでしょうか？チャットソフトで「合格しました！嬉しいです！」と入力すると想像してみてください。あなたの気持ちを理解するAIは、あなたの興奮を認識するだけでなく、あなたが笑顔の猫の絵文字を好むことを覚えており、あなたのために特別にデザインされた笑顔の猫の絵文字パックを作成します。
人工知能のパーソナライズされた生成分野において、Huaweiと清華大学は共同で、PMG（Personalized Multimodal Generation）と呼ばれる新技術を開発しました。この技術は、ユーザーの過去の行動や好みを基に、絵文字、Tシャツのデザイン、映画ポスターなど、ユーザーの個性的なニーズに合ったマルチモーダルなコンテンツを生成することができます。
PMGの動作原理とは何でしょうか？それは、ユーザーの映画鑑賞履歴や会話履歴を分析し、大規模言語モデルの推論能力を組み合わせて、ユーザーの好みを抽出します。このプロセスには、明示的なキーワードの生成と、暗黙的なユーザー嗜好ベクトルの生成が含まれ、これらを組み合わせることで、マルチモーダルコンテンツの生成のための豊富な情報基盤が提供されます。
実際の応用において、PMG技術は以下の機能を実現できます。
キーワード生成：プロンプトを作成し、大規模モデルがユーザーの好みをキーワードとして抽出するよう指示します。
潜在ベクトル生成：ユーザーの好むキーワードとターゲットアイテムのキーワードを組み合わせ、P-Tuning V2で微調整されたバイアス補正大規模モデルを使用して、マルチモーダル生成能力を学習します。
ユーザーの好みとターゲットアイテムのバランス：パーソナライゼーションレベルと精度を計算することで、生成効果を定量的に評価し、生成コンテンツを最適化します。
研究チームは、ECサイトの衣料品画像生成、映画ポスターのシーン生成、絵文字生成の3つのアプリケーションシナリオを通じて、PMG技術の有効性を検証しました。実験結果は、PMGがユーザーの好みに合ったパーソナライズされたコンテンツを生成できることを示しており、画像類似度指標であるLPIPSとSSIMにおいて優れた性能を示しました。
この技術は、理論的に革新的であるだけでなく、実際の応用においても大きな可能性と商業価値を示しています。パーソナライズされたニーズの増加に伴い、PMG技術は今後爆発的な成長が見込まれ、ユーザーにより豊かでパーソナライズされた体験を提供するでしょう。
プロジェクトアドレス：https://github.com/mindspore-lab/models/tree/master/research/huawei-noah/PMG