大規模言語モデル（LLM）の急速な発展に伴い、モデルのトレーニングと推論コストが研究とアプリケーションの焦点となっています。最近、テンセント混元チームは重要な研究を発表し、低ビット浮動小数点量子化トレーニングの「Scaling Laws」、つまり浮動小数点量子化トレーニングのスケーリング則について深く掘り下げました。この研究の中核は、モデルの精度を下げることで、性能を損なうことなく計算とストレージコストを大幅に削減する方法を探ることです。研究チームは...

DALLE3やAdobe Firefly3などの、AI駆動によるテキストツーイメージ（T2I）生成モデルは、優れた生成能力を示し、現実世界での応用において無限の可能性を秘めています。しかし、これらのモデルは通常数十億ものパラメータを持ち、メモリ消費が非常に大きいため、モバイルデバイスなどのリソースに制限のあるプラットフォームへの展開に大きな課題をもたらします。これらの問題を解決するため、ByteDanceとPOSTECHの研究者らは、T2Iモデルに対する極低ビット量子化技術を探求しました。数々の先進的な…

Meta Platformsは本日、Llamaモデルの新しい軽量版であるLlama 3.21Bと3Bを発表しました。これは、大規模言語モデルを一般的なスマートフォンやタブレットで安定して実行できるようになった初の事例です。革新的な量子化訓練技術と最適化アルゴリズムを統合することで、元の処理品質を維持しながら、ファイルサイズは56％削減、メモリ使用量は41％削減、処理速度は元の4倍に向上し、一度に8,000文字のテキストを連続処理できるようになりました。And

Meta AIは最近、新しい量子化版Llama 3.2モデル（1Bと3Bの2つのバージョン）を発表しました。このモデルは、様々なデバイスで微調整、蒸留、展開が可能です。以前は、Llama 3のようなモデルは自然言語理解と生成において顕著な成果を上げていましたが、その巨大なサイズと高い計算需要により、多くの組織にとって利用が困難でした。長いトレーニング時間、高いエネルギー消費、高価なハードウェアへの依存は、テクノロジー大手と中小企業との間の格差を拡大させていました。Llama 3.2は…

本稿では、人工知能分野、特に大規模言語モデル（LLM）における計算とストレージの課題について論じています。BloomモデルのようなAI能力の向上に伴い、必要な計算資源とストレージ容量が大幅に増加し、コストの高騰と普及性の問題を引き起こしています。この問題を解決するために、「量子化」技術が導入され、モデルの重みと活性化の精度を下げることで、モデルサイズを縮小し、実行速度を向上させながら、精度低下を抑制します。本稿では、北京航空航天大学と商湯科技が共同開発した

零一万物基は、ファインチューニングモデル Yi-34B-Chat を正式にリリースし、オープンソース化しました。零一万物では、4bit/8bit 量子化版モデル Yi-34B-Chat も提供しており、各種評価において優れた性能を発揮しています。Yi シリーズのモデルは、ModelScope コミュニティでオープンソース化されており、開発者はコミュニティでこれらのモデルをダウンロード、推論、トレーニングできます。

アリババグループは、CodeFuse-CodeLlama-34Bの4ビット量子化バージョンを発表しました。量子化されたモデルは、単一のA10またはRTX4090でロード可能です。量子化されたモデルは、Humaneval pass@1指標で73.8％の性能を達成しました。CodeFuseはアリババが独自開発したコード生成専用の巨大言語モデルであり、インテリジェントな提案とリアルタイムサポートを提供することで、開発者の開発効率を向上させます。