2025グローバルデベロッパー先駆者会議において、商湯科技はオープンソースのローコードプラットフォームLazyLLMを発表しました。これは、AIアプリケーション開発のハードルを下げることを目的としています。開発者は現在、約10行のコードだけで、複雑なマルチエージェント大規模モデルアプリケーションを簡単に構築できます。LazyLLMは、ユーザーがAIアプリケーションを迅速に開発できるだけでなく、簡単な操作で開発プロセスを容易で楽しいものにし、まるでブロックを積み重ねるように簡単にできます。LazyLLMという名前は「怠惰」に由来し、商湯科技がユーザーに…

アップルとMeta AIが共同で開発した新技術LazyLLMは、大規模言語モデルにおける長文推論の効率向上を目指しています。最新のトランスフォーマーアーキテクチャは、長いプロンプトを処理する際に速度が遅いという問題を抱えており、特に計算複雑度が線形に増加します。これに対処するため、LazyLLMは重要なトークンを動的に選択することで計算量を削減しつつ、モデルの精度を維持します。その効率的なメカニズムには、以前の層の注意スコアを評価し、計算コストを動的に削減すること、剪定されたトークンを動的に復元すること、そしてAux Cacheメカニズムによるキャッシュなどが含まれます。