Cappyは、大型多タスク言語モデルの性能と効率を向上させるための新しい手法です。RoBERTaをベースとした軽量な事前学習済み評価器であり、パラメーター数はわずか3.6億個です。Cappyは、分類タスクを独立して解決したり、言語モデルの性能向上のための補助的なコンポーネントとして機能したりします。下流タスクでCappyを微調整することで、教師あり学習情報を効果的に統合し、モデルの性能を向上させることができます。さらに、言語モデルのパラメーターへの逆伝播は不要なため、メモリ消費量を抑えることができます。Cappyはオープンソースとクローズドソースの両方の言語モデルに適用可能であり、効率的なモデル微調整手法です。