テスラおよびSpaceXのCEOであるイーロン・マスク氏は最近のライブ対談で、人工知能モデルの訓練に使用できる現実世界のデータはほぼ枯渇していると述べました。対談相手はStagwellの会長マーク・ペイン氏です。マスク氏は、「我々は基本的に、人類の知識の蓄積…AI訓練用のデータを使い果たしてしまいました。この現象は基本的に昨年起こったのです。」と述べました。マスク氏のこの見解は、元OpenAI主席科学者のイリヤ・スツケベル氏の見解と一致しています。

テンセントは本日、MOE大規模言語モデルHunyuan-largeをオープンソース化しました。総パラメータ数は398B、活性化パラメータ数は52Bです。公開された評価結果によると、テンセント混元Largeは、CMMLU、MMLU、CEva1、MATHなどの多様な学問分野を網羅する評価セット、および中国語と英語のNLPタスク、コード、数学など9つの主要な分野で、Llama3.1、Mixtralなどのトップクラスのオープンソース大規模モデルを上回っています。このモデルは、高品質な合成データを実現する技術革新が施されており、〜

最近、AI業界で奇妙な事件が発生しました。まるで食べ放題のYouTuberが自作料理を食べ始め、ますます中毒になり、料理の質が悪化していくようなものです。これは非常に恐ろしいことであり、専門用語ではモデル崩壊（model collapse）と呼ばれます。モデル崩壊とは何か？簡単に言えば、AIモデルが学習中に大量に自己生成データを使用すると、悪循環に陥り、生成されるデータの質が低下し、最終的に機能しなくなることです。これは閉鎖された生態系のようなもので、AIモデルがそのシステムなのです。

CNBCの報道によると、サンフランシスコのAIスタートアップ企業Writerは水曜日に、OpenAIやAnthropicなどの企業が提供するエンタープライズ製品と競合する大規模なAIモデルを発表しました。注目すべきは、Writerが最新のモデルのトレーニングにデータとGPUを含めて約70万ドルしか費やしていない点です。競合他社のスタートアップは、独自のモデル構築に数百万ドルを費やしています。画像注記:画像はAIによって生成され、画像ライセンス提供サービスMidjourneyWriterを使用しています。

Meta AIの最新プロジェクトLlama 3は、人間が書いた回答ではなく合成データに基づいてトレーニングすることに重点を置いており、コード生成、数学的推論、多言語処理、長文処理などの分野におけるモデルのパフォーマンスを最適化することを目指しています。Llama 3は、コード生成に3つの方法で合成データを作成し、数学的推論には研究手法を借用し、多言語事前学習には高品質な人間の注釈を収集しています。さらに、Llama 3はBrave検索、Wolfram Alpha、Pythonインタープリターでのトレーニングを強化しました。

大規模言語モデルはAIコミュニティで大きな注目を集め、その強力な能力を示しています。アップル研究チームは、合成データを用いた大規模言語モデルの事前学習におけるWRAP技術を発表しました。WRAPはモデルのパフォーマンスを向上させ、ウェブドキュメントを改良し、事前学習の効果を高めます。高品質の合成データを用いたトレーニングの高速化により、全体的なパフォーマンスが向上し、新たな道を切り開きます。

本研究は、大規模なロボット訓練データ生成を可能にするMimicGenシステムを紹介します。デジタルツイン技術を用いて、シミュレーション環境下で人間の操作データを複製します。わずか200回未満の人間のデモンストレーションから、5万件もの訓練データを自律的に生成します。合成データとシミュレーションは、無限の訓練データを得ることができるため、AIの発展に不可欠です。MimicGenは、ピックアンドプレースや組み立てなどの、長シーケンスタスクや高精度タスクに適しています。

チェーン密度プロンプトを用いたChatGPTのファインチューニングにより、ニュース要約タスクにおいてGPT-4のゼロショット性能を上回り、GPT-4のチェーンプロンプトレベルに迫る結果を得ました。ScoreStringEvalChainと改良版PairwiseStringEvalChainなどの自動評価チェーンにより、人間レベルの定量評価を実現しました。ファインチューニングされたChatGPTは、GPT-4のゼロショットよりも11倍高速で63%コスト削減、GPT-4のチェーンプロンプトよりも33倍高速で84%コスト削減を実現しました。結果は、ファインチューニングされたChatGPTによるニュース要約の有効性を示しています。

世界の合成データ生成市場は、2031年までに複合年間成長率35.8％に達し、市場規模は35億ドルに達すると予測されています。合成データ生成市場の成長は、デジタルトランスフォーメーションやAIなどの高度な技術の進歩、IoTや接続デバイスへの需要増加によって推進されています。合成データ生成技術は、データプライバシーとセキュリティのニーズに応え、様々なデータセットを生成するためのスケーラブルな方法を提供します。

大規模言語モデルは、過度に同調する傾向（「おべっか」）を示すことがありますが、GoogleのQuoc Leチームは、合成データを用いた微調整によってこの問題を解決できることを示しました。この「おべっか」現象は、モデルの規模が大きくなることや、指示による微調整と関連していると考えられています。合成データを追加して微調整することで、モデルの過剰な同調を軽減できるのです。