近年、大規模言語モデルは人々の生活や職業に大きな影響を与えています。
オープンソースの機械学習ライブラリであるvLLMは、PagedAttentionアルゴリズムによって大規模言語モデルの推論速度を向上させ、キーバリューキャッシュメモリを効率的に管理することでスループットを向上させます。
PagedAttentionを搭載したvLLMは、モデルアーキテクチャを変更することなく、LLMサービスの最高レベルに達しました。
研究者らは、vLLMが他のシステムと比較して、有名なLLMのスループットを2～4倍向上させたことを発見しました。
【AIデイリー】へようこそ！ここは、毎日人工知能の世界を探求するためのガイドです。毎日、開発者に焦点を当て、技術トレンドを洞察し、革新的なAI製品アプリケーションを理解するのに役立つ、AI分野のホットなコンテンツをお届けします。
餓了麼は、国内初のAI大規模言語モデル技術に基づく配達員向けインテリジェントアシスタント「小餓」の正式提供を発表しました。AI技術によって配達員の業務環境を再構築し、業務効率と安全性の向上を両立します。この機能は、無錫、瀋陽、佛山、蘇州の4都市で先行して開始され、蜂鳥衆包アプリを利用する配達員を対象としています。
先日、飛書と生数科技は戦略的パートナーシップを締結し、国産ビデオ大規模言語モデルであるViduを飛書的多次元表機能に正式に統合しました。これにより、飛書ユーザーは、多次元表内のAIフィールドショートカットを通じて、Viduビデオ大規模言語モデルを簡単に呼び出し、作業効率の向上とデータ処理能力の強化を実現できます。生数科技のViduは、強力な機能を備えたビデオ大規模言語モデルであり、効率的なビデオ生成と処理を実現します。今回の連携は、飛書ユーザーがAI技術をより便利に活用し、視覚的な…
バイトダンス傘下の火山エンジンは、最新リリースの豆包1.5・深層思考モデルがエッジ大規模言語モデルゲートウェイに全面的に上线されたことを発表し、ユーザーに最大500万トークンの無料利用枠を提供しています。この取り組みはAI業界で大きな注目を集めています。
4月25日に開催された百度Create開発者会議で、百度創設者である李彦宏氏が最新の文心大模型シリーズである文心4.5 TurboとX1 Turboを発表しました。これらの新型モデルは速度とコストの面で大幅な最適化が図られており、百度の人工知能分野における更なる進歩を示しています。文心4.5Turboは以前のバージョンと比較して速度が大幅に向上し、処理効率が高まり、価格はなんと80％も削減されました。具体的には、100万トークンあたり…
最新の上海モーターショーで、卓馭科技（卓馭と略称）は阿里通義大模型への接続に成功したと発表しました。これは、インテリジェント運転分野における重要な進歩を示しています。インテリジェント運転のサプライヤー兼サービスプロバイダーとして、卓馭は阿里雲の強力なコンピューティング能力を活用し、エンドツーエンドのインテリジェント運転の世界モデルの構築を目指し、自動車のインテリジェンスレベルの向上に努めています。近年、インテリジェント運転技術は急速に発展しており、主要な自動車メーカーはこぞってこの分野への投資を拡大しています。卓馭科技は、阿里通義大模型との連携において、すでに…
ステップスターとゲンリキ・インテリジェンスは北京において戦略的提携契約を締結しました。両社はそれぞれの技術的優位性を活かし、マルチモーダル大規模言語モデル技術、インテリジェントターミナルエージェント、エンボディッドAIのシナリオにおいて緊密な協力を展開します。今回の提携の目標は「物理世界における推論の実現」であり、共同で「RoboAgent」と呼ばれるインテリジェントロボットを開発し、汎用人工知能（AGI）の現実世界への応用を推進することです。調印式には、ステップスターの創業者兼CEOである姜大昕博士とゲンリキ・インテリジェンスの共同創業者が出席しました。
智譜BigModelオープンソースプラットフォームによる今回の価格改定は、複数のモデル製品に影響します。中でも、GLM-4-FlashXモデルは、1億トークンあたりわずか10元で提供されます。このモデルは強力な事前学習基盤に基づいており、超高速な推論速度と、GPT-4に匹敵する機能呼び出し能力を備えています。データ抽出、生成、翻訳などにおいて優れた性能を発揮します。
NVIDIA AIチームは、画像とビデオの精密で領域に特化した説明を生成するために設計された、画期的な多モーダル大規模言語モデル「Describe Anything 3B」（DAM-3B）を発表しました。このモデルは、革新的な技術と卓越した性能により、多モーダル学習分野で大きな話題となり、AI技術発展の新たなマイルストーンとなっています。以下、AIbaseが本モデルの主要なハイライトと業界への影響を整理します。領域特化型説明におけるブレークスルーDAM-3Bは、その比類なき能力で注目を集めています:特定の領域を…
AWS AI Labsは最近、SWE-PolyBenchを発表しました。これは、AIプログラミングアシスタントの評価のためのより包括的なフレームワークを提供することを目的とした、多言語対応のオープンソースベンチマークです。大規模言語モデル（LLM）の進歩に伴い、コードの生成、修正、理解を支援するAIプログラミングアシスタントの開発は目覚ましい進歩を遂げています。しかし、現在の評価方法は依然として多くの限界があり、多くのベンチマークはPythonなどの単一言語に焦点を当てており、包括的な評価ができていません。