Forbes誌の報道によると、Meta（旧Facebook）は、韓国のAIチップスタートアップ企業FuriosaAIの買収に向けた交渉を積極的に進めている。この買収は、増加するAI需要に対応するため、MetaのAIハードウェアインフラを強化することを目的としている。FuriosaAIは、元三星電子とAMDの従業員によって設立され、Llama2やLlama3などのMetaのテキスト生成モデルに適した、AIモデルの動作を高速化するチップの開発に注力している。

Meta AIの最新プロジェクトLlama 3は、人間が書いた回答ではなく合成データに基づいてトレーニングすることに重点を置いており、コード生成、数学的推論、多言語処理、長文処理などの分野におけるモデルのパフォーマンスを最適化することを目指しています。Llama 3は、コード生成に3つの方法で合成データを作成し、数学的推論には研究手法を借用し、多言語事前学習には高品質な人間の注釈を収集しています。さらに、Llama 3はBrave検索、Wolfram Alpha、Pythonインタープリターでのトレーニングを強化しました。

サイバー犯罪者が生成系人工知能を利用した攻撃を開始しており、MetaのLlama2大規模言語モデルも含まれています。グループSpider組織はLlama2を使用して、北米の金融サービス会社を標的とした攻撃スクリプトを作成しました。セキュリティ会社は、現在のAI攻撃検出能力は限られていると警告していますが、AIの悪用傾向は増加すると予想しています。報告書では、2023年には大規模言語モデルの悪用試みがあった可能性があるものの、生成された結果は有効ではなかった可能性があると指摘しています。

清華大学の最新研究では、AgentTuning手法によりLLMのエージェント能力を強化できることが示されました。高品質のインタラクション軌跡とCoT推論チェーンを含むAgentInstructエージェントデータセットを構築しました。混合指示微調整戦略を採用し、AgentInstructと汎用指示を併用して微調整を行いました。その結果、AgentLMはLlama 2を明らかに上回り、held-inとheld-outのタスクで優れた性能を示しました。70BバージョンのAgentLMは、エージェントタスクにおいて…

MetaはLlama 2-Longモデルを発表しました。これは長文テキストを処理する際に計算需要を増やすことなく、優れた性能を維持します。持続的プリトレーニング、位置エンコーディングの改良、データ混合戦略を採用することで、計算コストを最大40％削減することに成功しました。長文・短文の両方のタスクで優れたパフォーマンスを発揮し、他の長文コンテキストモデルを凌駕しており、自然言語処理分野に革命を起こす可能性を秘めています。エンコーディング、数学、知識集約型タスクにおいて顕著な改善が見られ、GPT-3.5をも上回っています。Llama 2-Longモデルの発表は、長文テキスト処理における強力なソリューションを提供します。

単語表の拡張、データのフィルタリング、複数段階のトレーニング戦略により、15時間以内で数千円の費用で中文版LLaMA2をトレーニングしました。中文版LLaMA2は、複数の中文タスクにおいて顕著な性能向上を示し、同規模のモデルにおける最先端レベルに達しました。構築プロセス、コード、および重みはすべてオープンソースであり、他の言語や分野にも適用できます。低コストの大規模言語モデルトレーニングを実現し、わずか15時間と数千円の費用で中文版LLaMA2をトレーニングしました。すべてのトレーニングコードと事前トレーニング済み重みはオープンソースであり、他の言語や分野に直接適用できます。大規模言語モデルの低コストかつ迅速な構築を実現します。

昆侖万維が独自開発した天工大規模言語モデルは、Benchmark GSM8Kテストにおいて80％の正解率を達成しました。天工大規模言語モデルの推論能力は、GPT-3.5とLLaMA2を上回っています。天工大規模言語モデルは、複数のデータセットで優れたパフォーマンスを発揮しています。天工大規模言語モデルの問題解決アプローチは、よりシンプルで明確です。天工大規模言語モデルは、ユーザーと企業に強力なインテリジェントな支援を提供します。

OpenAI、Meta、智谱AI、Google DeepMind、Microsoft、Intel といった大規模言語モデル分野の企業や研究者が、ACM KDD 2023 で発表を行いました。会議では、大規模言語モデルとその様々な分野における応用に関する最新の研究成果、そして信頼できる大規模言語モデルの構築方法に焦点を当てました。大規模モデルの特徴、ChatGPT、GLM-130B、Llama2、推論能力、パラダイム、課題などが主なトピックでした。

IBMは、自社のエンタープライズAIプラットフォームWatsonXで、Meta PlatformsのAI言語モデルMetaLlama2をホストすると発表しました。Llama2は、Metaが今年7月に発表したオープンソースのAI言語モデルの商用版であり、MicrosoftのAzureクラウドサービスを通じて配布されています。現在、watsonx.aiでは、IBMとHugging Faceコミュニティのモデルを利用してAI構築を行うことができます。これらのモデルは、

IBMは、watsonx.aistudioにおいて、MetaのLlama2チャット70億パラメーターモデルのホスティングを計画しています。IBMとMetaは、AIにおけるオープンイノベーションにおいて協力関係にあります。Llama2モデルは、IBMがサードパーティおよび独自のAIモデルを提供する戦略の一部となります。