LLM360計画:オープンソース化と7BパラメーターLLMの公開

LLM360計画が全面的にオープンソース化され、70億パラメーターのLLMであるAMBERとCRYSTALCODERの2つが公開されました。

本研究では、オープンソースLLMの重要性を強調し、AMBERモデルの4つのデータセットにおける事前学習性能を示すことで、世界的なオープンソース大規模言語モデルの透明性イニシアチブを推進しています。