フィンランドのスタートアップ企業、Silo AIは今週、ヨーロッパの多言語AI能力向上を目指したオープンソース言語モデル「Poro」を発表しました。
Poroは、EUの24の公用語を網羅する大規模モデルであり、クロスリンガルトレーニング手法を用いることで、低資源言語のトレーニングにおける性能課題を解決しています。
Silo AIは、Poroのチェックポイントを公開し、オープンソースモデルの透明性と協調を促進する予定です。
先日、IBMはオープンソース言語モデルGraniteのバージョン3.1を発表しました。今回のアップデートでは多くの重要な改善が加えられています。新バージョンのモデルは再設計され、より密集したアーキテクチャを採用することで、最大128,000トークンを一度に処理できるようになりました。このアップデートにより、Graniteは複雑なテキストやタスクを処理する能力が大幅に向上しました。Granite 3.1バージョンのモデルは、12言語と116種類のプログラミング言語のデータセットでトレーニングされ、合計12兆トークンを処理しました。
AMDは先日、ヨーロッパ最大の民間人工知能研究所の一つであるSilo AIの買収を完了したと発表しました。買収額は約6億6500万ドル（日本円にして約900億円）で、全額現金取引です。
Arcee AIは最近、最新のオープンソース言語モデルArcee-Novaを発表しました。このモデルはQwen-72B-Instructをベースにしており、GPT-4に匹敵する性能を示し、論理的推論、創造的なライティング、コード生成、言語理解、カスタマーサービスアプリケーションなど、多様な機能を備えています。多様な汎用データセットによるファインチューニングと強化学習による最適化を経て、Arcee-Novaは分野を横断した適応性を持ち、OpenLLM Leaderboard 2.0でトップクラスの性能を示しています。
アップルとそのパートナーは、7億パラメーターを持つオープンソースの大規模言語モデルDCLMを発表しました。2.5兆個のトークンデータでトレーニングされており、言語の理解と生成能力が大幅に向上しています。DCLMの中核は、標準化されたデータセット最適化ツールであり、Hugging Faceプラットフォームで研究者が実験を行い、様々なデータセットの品質と改善方法を評価することを目的としています。研究によると、DCLMを用いて構築されたベンチマークデータセットは、特にM…において、主要なテストで優れた性能を示すモデルをトレーニングできることが示されています。
