人工知能企業Anthropicは、今後数年間の財務予測を発表し、目覚ましい成長の可能性を示しました。関係者によると、Anthropicは昨年56億ドルのキャッシュアウトを経験した後、2025年にはその金額をほぼ半分に削減し、同年度の売上高を37億ドルに達することを計画しています。この目標の達成は、業界のリーダーであるOpenAIとの競争において、Anthropicが着実に差を縮めていることを意味します。Anthropicは20…

Anthropic社は、Claudeシリーズの大規模言語モデルに「プロンプトキャッシュ」という新機能を発表しました。これは、企業のAIコストの大幅な削減とパフォーマンスの向上を目的としています。この機能により、ユーザーは特定のコンテキスト情報を保存して再利用できるようになり、追加コストや遅延が発生しません。公開テストでは、Claude 3.5 SonnetとClaude 3 Haikuモデルでこの機能が適用され、最大90%のコスト削減と、特定のシナリオでは応答速度が2倍になることが期待されています。この機能は、特に保存が必要な情報を扱うアプリケーションに役立ちます。

Anthropic APIにプロンプトキャッシュ機能が追加され、Claudeモデルの利用体験が最適化されました。この機能により、API呼び出し間で頻繁に使用されるコンテキスト情報をキャッシュできるため、長いプロンプトにかかるコストと遅延を大幅に削減でき、最大90％と85％の削減を実現します。現在、Claude 3.5 SonnetとClaude 3 Haikuの公開テスト版でサポートされており、将来的にはClaude 3 Opusにも拡大予定です。会話エージェント、コーディングアシスタント、大規模ドキュメントの処理、代理検索などのシナリオに適しています。プロンプトキャッシュの価格設定

月面の影傘下のKimi オープンソースプラットフォームは、コンテキストキャッシュストレージ料金を50％値下げすると発表しました。具体的には、キャッシュストレージ料金が10元/1Mトークン/分から5元/1Mトークン/分に引き下げられます。

昨日、月面暗黒傘下のKimi オープンソースプラットフォームは、コンテキストキャッシュ（Context Caching）の公開テスト開始を発表しました。この技術は、API価格を据え置いたまま、開発者の長文向け主力大規模言語モデルの使用コストを最大90%削減し、モデルの応答速度も大幅に向上させます。

アリババグループ傘下のCodeFuseコード大規模モデルオープンソースModelCache大規模モデル意味キャッシュ。ModelCacheアーキテクチャは、adapter、embedding、similarity、data_managerモジュールを含みます。ModelCacheは、大規模モデルアプリケーションの推論コストを削減し、ユーザーエクスペリエンスを向上させます。キャッシュヒットにより、平均処理時間を10倍削減し、速度を最大14.5%向上させることができます。ModelCacheは、パフォーマンスと精度を継続的に最適化し、検索時間を向上させ続けます。