北京大学と香港科技大学のチームが大きなニュースを発表しました。彼らは、8Bサイズの医療専門家モデルをGPT-4レベルのパフォーマンスに到達させるトレーニング方法を提案しました。これは小さな成果ではなく、大規模言語モデルの継続的プリトレーニング中に発生するいくつかの現象を説明するために「安定性ギャップ」という新しい概念も導入しています。