復旦大学と中国人民大学が共同で設立したChat涼宮春日チームによる研究によると、AIによるロールプレイングにおけるキャラクター設定の再現度は極めて重要であり、その特性再現率は82.8%に達することが示されました。
この研究では、ビッグファイブ人格特性とMBTIテストを用い、LLMによる誘導型質疑応答を通してAIキャラクターの人格を包括的に評価しました。新たに提案された面接式人格テストフレームワークは、ロールプレイングAIの評価に新たな手法を提供しており、実験結果ではビッグファイブ人格特性とMBTIテストにおいて82.8%の再現率が達成されました。
研究者らは、異なる基盤モデルの影響について更なる研究を呼びかけており、現在の技術におけるいくつかの課題と限界を明らかにしています。