Googleの研究者らが、大規模多タスク言語モデルの性能向上を目指した、事前学習済みスコアリングモデル「Cappy」を発表しました。CappyはRoBERTaをベースとしたアーキテクチャを採用し、多様なデータセットを用いた事前学習により、多タスク言語モデルの性能と効率性を向上させます。軽量な事前学習済みスコアリングモデルCappyの導入により、多タスク環境における大規模言語モデルの有効活用という課題に取り組みました。研究者らは、事前学習データにおけるラベルの多様性要件を満たすデータ構築手法を提案し、大規模で効果的な回帰事前学習データの生成を実現しています。