Together AI は、言語処理におけるコンテキスト拡張の大きな進歩である Llama-2-7B-32K-Instruct を発表しました。
このモデルは、Together Inference API の機能を巧みに活用することで、長文の指示を効果的に処理し、短い状況下でも優れた性能を発揮します。
評価と既存のベンチマークモデルとの比較により、Llama-2-7B-32K-Instruct は、長文の指示処理と様々なベンチマークテストにおいて優れた成果を収めました。
この革新的な技術は、言語処理に新たな進歩をもたらし、複雑なコンテキストの理解と関連する応答の生成の架け橋となります。
【AIデイリー】へようこそ！ここは、毎日人工知能の世界を探求するためのガイドです。毎日、開発者に焦点を当て、技術トレンドを洞察し、革新的なAI製品アプリケーションを理解するのに役立つ、AI分野のホットなコンテンツをお届けします。
Together AIは先日、新たなチャットボットサービスを発表しました。ユーザーに多様なAIインタラクション体験を提供します。このサービスは、R1、Qwen、FLUXなど、多数のオープンソースモデルを統合しており、強力な計算能力とオープン性を通じて、開発者と一般ユーザーに効率的でインテリジェントなソリューションを提供することを目指しています。今回発表されたチャットボットサービスは、マルチモーダルインタラクションに対応しているだけでなく、検索機能も搭載されており、ユーザーは自然言語クエリで迅速にネットワーク情報を取得できます。この機能は…
AI業界において、Together AIは最近3.05億ドルのシリーズB資金調達を発表し、大きな注目を集めています。同社の躍進は、新しく発表された深層推論モデルDeepSeek-R1と密接に関連しています。当初の懸念とは異なり、多くの業界専門家は、深層推論の進歩がインフラストラクチャへの需要を低下させるどころか、むしろ需要を高めていると考えています。画像出典：AI生成画像、画像ライセンスプロバイダーMidjourney（2023年設立）
Together AIは、Salesforceがリード投資家、Coatue Managementなどが参加するシリーズで1億600万ドルの資金調達を発表しました。評価額は12.5億ドルです。新たな資金は、計算能力の拡大と研究者の採用に充てられます。現在45,000人の登録ユーザーを抱え、顧客からの支持を得ています。これは、11月以来Together AIにとって2度目の資金調達成功となります。
Midjourney V6がリリースされました。テキストから画像を生成する機能を特長とし、言語処理能力の大幅な向上が図られています。プロンプトへの追従性の向上と、より長いプロンプトへの対応が主な強化点です。コンテキスト管理、シーケンスモデリング、インタラクション状態のトラッキングに基づいた改良により、モデルの論理的一貫性が向上しました。テキストから画像を生成するモデルの強みは、公開されている画像リソースを活用して、大規模言語モデルの事前学習を継続的に改善できる点です。さらに、Midjourney V6ではテキスト描画機能も追加され、言語関連機能がさらに拡張されました。
StripedHyena-7Bは、計算効率と性能の向上を実現する、最先端の人工知能分野における代替選択肢を提供します。独自のハイブリッド構造を採用することで、トレーニング、ファインチューニング、および長いシーケンスの生成タスクにおいて優れた性能を発揮します。研究者たちは、より大規模なモデルを構築し、マルチモーダルサポートを導入することで、StripedHyenaの性能を向上させる計画です。短いシーケンスのタスクにおいては、StripedHyenaはLlama-27Bやその他の代替手段よりも優れた性能を示します。
Together AIはシリーズAラウンドで7.3億元（約130億円）の資金調達を発表しました。このラウンドは、Sequoia Capital China（セコイア・キャピタル・チャイナ）がリードインベスターとなり、NVIDIAなど複数の企業が参加しました。同社は、大規模言語モデルにおけるオープンソースの重要性を強調し、高い評価を得ているRedPajama-INCITE、RedPajama-Data-v2、FlashAttention v2などのオープンソース製品を発表しています。特に、同社の最高科学責任者であるTri Dao博士が発表したFlashAttention v2は広く採用され、トレーニングとファインチューニングの効率を向上させています。
Together AIは最近、大規模言語モデルのトレーニング用に設計された、30兆トークンという膨大なオンラインデータセットであるRedPajama v2を発表しました。Llama、Mistral、Falcon、MPT、RedPajamaなどの大規模オープンソース言語モデルの成功には、高品質なデータが不可欠です。RedPajama-V2の構築は、CommonCrawlの網羅性を重視しており、生データ、高品質な注釈、重複除去されたクラスタが含まれています。
Together AIは、大規模言語モデルのトレーニングに使用される30兆トークンを含むRedPajama v2データセットを発表しました。このデータセットは、高品質なデータリソースを提供することで、大規模言語モデルの成功裏での開発を支援することを目的としています。CommonCrawlやその他の公開Webデータから取得されたこのデータセットは、40以上の品質注釈と重複除去されたクラスタを含んでいます。RedPajama v2データセットは最小限の処理しか行われておらず、元のデータが保持されているため、モデル開発者は後処理を行うことができます。この取り組みは、言語モデルの開発と…