先日、IBMはオープンソース言語モデルGraniteのバージョン3.1を発表しました。今回のアップデートでは多くの重要な改善が加えられています。新バージョンのモデルは再設計され、より密集したアーキテクチャを採用することで、最大128,000トークンを一度に処理できるようになりました。このアップデートにより、Graniteは複雑なテキストやタスクを処理する能力が大幅に向上しました。Granite 3.1バージョンのモデルは、12言語と116種類のプログラミング言語のデータセットでトレーニングされ、合計12兆トークンを処理しました。

Arcee AIは最近、最新のオープンソース言語モデルArcee-Novaを発表しました。このモデルはQwen-72B-Instructをベースにしており、GPT-4に匹敵する性能を示し、論理的推論、創造的なライティング、コード生成、言語理解、カスタマーサービスアプリケーションなど、多様な機能を備えています。多様な汎用データセットによるファインチューニングと強化学習による最適化を経て、Arcee-Novaは分野を横断した適応性を持ち、OpenLLM Leaderboard 2.0でトップクラスの性能を示しています。

アップルとそのパートナーは、7億パラメーターを持つオープンソースの大規模言語モデルDCLMを発表しました。2.5兆個のトークンデータでトレーニングされており、言語の理解と生成能力が大幅に向上しています。DCLMの中核は、標準化されたデータセット最適化ツールであり、Hugging Faceプラットフォームで研究者が実験を行い、様々なデータセットの品質と改善方法を評価することを目的としています。研究によると、DCLMを用いて構築されたベンチマークデータセットは、特にM…において、主要なテストで優れた性能を示すモデルをトレーニングできることが示されています。

先日開催されたGoogle I/O Berlinカンファレンスで、Googleは最新の言語モデルGemma2のオープンソース化を発表しました。このモデルは性能と効率において大きな進歩を遂げています。Gemma2は9Bと27Bの2種類のモデルサイズを提供しており、27Bパラメーターのバージョンは、70BパラメーターのLlama3モデルに匹敵する性能を示す一方、モデルサイズはLlama3のおよそ40％に留まっています。

フィンランドのスタートアップ企業Silo AIが、ヨーロッパの多言語AI能力向上を目指したPoroを発表しました。PoroはEUの24の公式言語に対応する、34.2億パラメーターのオープンソースモデルです。Poroはクロスリンガルトレーニング手法を用いて、低資源言語におけるトレーニング性能の課題を解決しています。

スタートアップ企業Gradientは、クラウドプラットフォームの採用拡大に向けて1000万ドルの資金調達に成功しました。開発者はこのプラットフォームでオープンソース言語モデルをホストおよびカスタマイズできます。GradientはAIインフラストラクチャの管理を簡素化し、大規模言語モデルとカスタムデータセットを提供することを目指しています。このプラットフォームは約20社の企業で使用されており、従業員チームの拡大を計画しています。