智譜科技は先日、端側大規模言語モデルとマルチモーダルモデルであるGLM-Edgeシリーズのオープンソース化を発表しました。これは、同社が端側での実用的な応用事例において重要な試みを行ったことを示しています。GLM-Edgeシリーズは、GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B、GLM-Edge-V-5Bの4つの異なるサイズからなるモデルで構成されており、それぞれスマートフォン、車載機などのモバイルプラットフォームとPCなどのデスクトッププラットフォーム向けに最適化されています。

智譜 AI

GLM-4シリーズの技術蓄積に基づき、智譜の研究チームはモデル構造とサイズを調整し、モデル性能、実機推論効果、導入容易性の最適なバランスを実現しました。パートナーとの緊密な協力と推論最適化により、GLM-Edgeシリーズモデルはいくつかの端側プラットフォームで優れた実行速度を示しています。特に、Qualcomm Snapdragon 8 Eliteプラットフォームでは、NPUの計算能力と混合量子化スキームを活用することで、1.5Bの対話型モデルと2Bのマルチモーダルモデルは毎秒60トークン以上のデコード速度を実現し、投機的サンプリング技術を適用することで、毎秒100トークン以上のデコード速度を達成しています。

智譜がオープンソース化したGLM-Edgeシリーズモデルは、同社の人工知能分野における技術力を示すだけでなく、開発者や研究者にとって強力なツールとリソースを提供し、端側AIアプリケーションの発展と革新を促進します。

GLM-Edgeコレクション:

https://modelscope.cn/collections/GLM-Edge-ff0306563d2844