StarCoder2は、1500億パラメータのTransformerモデルです。GitHubを含む600種類以上のプログラミング言語データセットで事前学習されており、Grouped Query Attentionなどの技術が使用されています。このモデルはコード生成タスクに使用でき、複数のプログラミング言語に対応しています。