Tele-FLM(FLM-2とも呼ばれます)は、52億パラメーターのオープンソース多言語大規模言語モデルです。安定した効率的な事前学習パラダイムと強化された事実判断能力を備えています。デコーダーのみのトランスフォーマーアーキテクチャに基づいており、約2Tトークンでトレーニングされています。Tele-FLMは同規模のモデルの中で優れた性能を示し、場合によってはより大規模なモデルを上回ることもあります。モデルの重みを共有するだけでなく、コア設計、エンジニアリングプラクティス、トレーニングの詳細も提供しており、学術界と産業界の両方のコミュニティに役立つことを期待しています。