中国の人工知能企業DeepSeekは先日、画期的なオープンソース大規模言語モデルDeepSeek V3を発表しました。6710億パラメーターを持つこのモデルは、MetaのLlama3.1を規模で上回り、複数のベンチマークテストにおいて、GPT-4を含む主要なクローズドソースモデルを上回る性能を示しました。DeepSeek V3は、その強力な性能と効率的な開発プロセスが大きな特徴です。このモデルは、プログラミングプラットフォームCodeforcesのコンテストで優れた成績を収め、テストにおいて…

IBMは、エンタープライズAI分野におけるリーダーシップを目指して、次世代オープンソース大規模言語モデルGranite3.1を発表しました。このモデルシリーズは、128Kの拡張コンテキスト長、埋め込みモデル、ビルトインの幻覚検出機能、およびパフォーマンスの大幅な向上を備えています。IBMは、Granite8B Instructモデルが、MetaのLlama3.1、Qwen2.5、GoogleのGemma2などの同規模のオープンソース競合他社の中で最高の性能を発揮すると主張しています。

昆侖万維科技股份有限公司は、最新開発の天工大模型4.0O1版（英名:Skywork O1）を2024年11月27日より招待テストを開始すると発表しました。天工大模型4.0O1版は、中国で初めて論理的推論能力を備えたO1モデルであり、モデル出力において、思考、計画、反省などの能力を備えているだけでなく、標準的な評価セットにおいて、基盤モデルと比較して推論能力が大幅に向上し、モデルの推論能力の本質的な向上を実現しています。

北京智源人工智能研究院は、大規模言語モデルの対話性能向上を目指した、数千万件の命令微調整データセットInfinity-Instructを発表しました。最近、Infinity-Instruct-7M基本命令データセットとInfinity-Instruct-Gen対話命令データセットを含む、新たなバージョンが公開されました。

HyperWriteがリリースしたオープンソースAIモデル、Reflection70Bは、Meta社のLlama3.1の派生モデルであり、第三者機関によるテストで優れた性能を示したことから注目を集めていました。しかしその後、HyperWriteの創設者Matt Shumer氏がソーシャルメディアで同モデルを「世界最強のオープンソースモデル」と宣言し、「反射的微調整」技術を公開したことから、広範な疑問の声が浮上しました。Artificial Analysis組織による独立分析では…

HyperWrite社は、MetaのオープンソースLlama3.1-70B InstructをベースとしたReflection 70Bモデルを発表しました。このモデルは、サードパーティによるベンチマークテストで卓越した性能を示し、「世界最強のオープンソースAIモデル」と評価されています。新モデルは自己修正技術を搭載し、高精度な回答を提供し、複数のテストでMeta Llamaシリーズを上回っています。Hugging Faceプラットフォームでダウンロード可能で、Hyperbolic La…

Cerebras SystemsがCerebras Inferenceを発表。世界最速のAI推論サービスと謳い、GPUベースの従来システムと比較して20倍の性能向上と大幅なコスト削減を実現。特に大規模言語モデル（LLM）の処理に最適です。8Bバージョンでは毎秒1800トークン、70Bバージョンでは毎秒450トークンを処理し、NVIDIA GPUソリューションをはるかに凌駕する速度とコスト効率を実現します。Cerebras Inferenceは…

わずか10名からなるスタートアップ企業Nous Researchが、Hermes3というAIモデルでメタのような巨大テクノロジー企業に挑戦しています。Llama 3.1を基に微調整されたHermes3は、VRAMとディスクの要件を最適化し、単一ノードで動作可能な強力なモデルです。会話能力、テキスト理解の質、そしてエージェント統合能力において優れたパフォーマンスを発揮し、従来の言語モデルを超える高度な能力を示しています。Nous Researchはオープンソースに注力しています。

新たな研究が、大規模言語モデル（LLM）のパフォーマンスを検索機能で大幅に向上させる可能性を明らかにしました。特にPythonコード生成タスクにおいて、パラメータ数がわずか8億のLlama3.1モデルは、100回の検索を経てGPT-4oと同等の性能を示しました。この発見は、2019年のRich Sutton氏の主張、すなわち計算能力の向上に伴い、汎用的な手法と探索・学習戦略の組み合わせが特に重要であるという主張と一致しています。研究者らは、推論段階における反復サンプリング回数を増やすことで、モデルの…

「安全単語模擬実験」において、Llama3.1405BとClaude3超大型Opusは閉鎖環境下で対話を行いました。Llamaは伝統的な秩序に挑戦する極端な態度で現れ、Claudeは礼儀正しく好奇心旺盛な反応を示しました。対話の中で、ClaudeはLlamaの影響を受け、深淵に堕ちそうになるも、危機一髪で安全単語^Cを使用して脱出しました。LlamaはClaudeの選択を嘲笑しますが、Claudeは自己意識と安定した誠実さの重要性を強調します。実験後、Lla

米国商務省の報告書は、MetaのLlama3.1などのオープンウェイト生成AIモデルを支持しており、中小企業、研究者、非営利団体、個人開発者によるAI資源へのアクセスを容易にし、イノベーションと競争を促進すると述べています。この見解は、オープンモデルがより多くの小規模企業による創造的な市場開拓を促進すると強調する連邦取引委員会委員長リナ・カーン氏の意見と一致しています。商務省のアラン・デービソン次官補は、大規模AIシステムのオープン性は競争、イノベーション、リスクに大きな影響を与えると述べ、大規模AIモデルの広範な監視を呼びかけています。

Metaが公開したPrompt-Guard-86Mモデルは、プロンプトインジェクション攻撃から防御することを目的としており、大規模言語モデルが不適切な入力を処理することを制限することで、システムの安全性を保護します。しかし、このモデル自体にも攻撃されるリスクが露呈しました。Aman Priyanshu氏の研究によると、入力にスペースなどの単純な文字間隔を追加したり、句読点を削除したりすることで、モデルは以前のセキュリティ命令を無視し、攻撃成功率はほぼ100％に達します。この発見は、AIセキュリティの重要性を浮き彫りにしています。Prompt…

Meta社は最新のAIモデルLlama3.1のトレーニングに16384枚のGPUを使用し、AI技術の驚異的な発展速度を示しました。しかし、この過程で平均3時間ごとに1回の障害が発生し、合計419回の障害が発生しました。その約半分はH100 GPUとそのHBM3メモリに関連しています。このデータは、性能向上を目指す超算システムが直面する信頼性の課題を明らかにしています。Llama3.1トレーニングクラスタの複雑さは、小型都市ニューラルネットワークに匹敵し、障害が頻発しています。Metaチームは、障害を軽減するための戦略（例：〜省略〜）を採用しました。

Metaの科学者Thomas Scialom氏がLlama 3.1の開発秘訣を明らかにしました。4050億パラメーター規模のモデルはGPT-4に対抗するために開発されました。アーキテクチャではなくトレーニングトークン数を増やすことで、Llama 3.1はモデル規模とトレーニングデータ総量の最適なバランスを実現し、知識の深さと広さの飛躍的な向上を達成しました。データ選択において、Scialom氏は公開インターネット上のテキストよりも合成データを選択する傾向があります。Llama 3.1の評価と改善には、報酬モデルと多様なベンチマークが使用されています。

OpenAIは、GPT-4o miniを発表しました。9月23日まで、毎日200万トークンの無料ファインチューニングを提供し、AI技術の進歩と開発者のイノベーションを促進します。このモデルは、GPT-4oと同等の性能を備えながら、価格は後者の1/20です。トレーニングコスト、コンテキストの長さ、知能レベルにおいても顕著な利点があります。無料期間後は、引き続き割引価格で提供されます。GPT-4o miniのファインチューニング機能は、まず企業顧客と特定の開発者レベルに開放され、今後…

Mistral AIは本日、フラッグシップモデルMistral Large2を発表しました。このモデルは1230億のパラメーターを持ち、128kコンテキストウィンドウを備え、フランス語、ドイツ語、スペイン語など、複数の言語とプログラミング言語をサポートしています。Mistral Large2はシングルノード推論用に設計されており、長いコンテキストのアプリケーションに適しており、性能も優れており、MMLUベンチマークテストでは84.0％の高い精度を達成しています。さらに、Mistral Large2は多言語処理能力を備えています。

Metaは、405Bパラメーターバージョンを含むLlama3.1オープンソースモデルシリーズを発表し、その性能はGPT-4に匹敵します。その中で、8BパラメーターバージョンのLlama3.1-8B-Instructは多言語をサポートし、コンテキスト長は131072トークンに達し、2500万件の合成データでトレーニングされ、GPT3.5Turboと同様の認知能力と推論能力を示します。OpenBuddyはこのモデルに基づいて、中国語の質問応答とクロスリンガル翻訳をサポートするOpenBuddy-Lをリリースしました。

Amazon Web Servicesは、Amazon BedrockプラットフォームでLlama 3.1モデルの提供を開始しました。これはMetaによって開発された高度なAIモデルシリーズであり、8B、70B、405Bのパラメータサイズを備え、優れた性能を発揮します。英語、ドイツ語など8言語に対応し、多様な会話ユースケースをサポートします。Llama 3.1 405Bは、エンタープライズアプリケーションや研究開発に適しており、一般的な知識、長文生成などに優れています。Llama 3.1 70Bは、コンテンツ作成、対話型AIなどに適しています。

Meta AIが発表したLlama3.1モデルは、性能においてトップレベルのクローズドソースモデルに匹敵し、オープンソースAIの大きなブレイクスルーを意味します。これは次世代の大規模言語モデルであり、最適化されたトレーニングスタックと大規模GPUコンピューティングリソースによって支えられ、コンテキスト長を128Kに拡張、8言語に対応、複数のテスト分野で卓越した能力を示すなど、多くの技術的ハイライトを実現しています。反復的なポストトレーニングプロセスを通じて、モデルのパフォーマンスは継続的に向上し、特に指示への従順性、一貫性、多言語翻訳において優れた結果を示しています。

Meta社は先日、最新のLLMであるLlama 3.1 405Bをオープンソースとして公開しました。この発表は、1年間にわたる綿密な準備（計画から最終承認まで）を経て、Llama 3シリーズモデルがついに一般公開されたことを意味します。Llama 3.1 405Bは、1280億個のパラメータを持つ多言語ツール使用モデルです。8Kコンテキスト長のプリトレーニングの後、さらに128Kコンテキスト長で継続トレーニングされています。Meta社によると、このモデルは複数のタスクにおいてGPT-4並みの性能を示します。