近年、大規模言語モデル（LLM）の急速な発展に伴い、自然言語処理分野はかつてない変革を遂げています。これらの技術は現在、コードアシスタント、検索エンジン、パーソナルAIアシスタントなど、幅広い場面で活用され、その強力な能力を証明しています。しかし、従来の「次のトークン予測」パラダイムには限界があり、特に複雑な推論や長期的なタスク処理において、モデルは深い概念理解を習得するために膨大な量のトレーニングを必要としています。この問題を解決するため、Metaなどの研究機関の研究者たちは、

Googleの研究チームは先日、時系列予測向けに設計された事前学習済みモデルであるTimesFM（時系列基礎モデル）2.0を発表しました。このモデルは時系列予測の精度向上を目指しており、オープンソース化と科学的共有を通じて人工知能の発展を促進することを目的としています。TimesFM2.0モデルは強力な機能を備え、最大2048個の時間点を持つ単変量時系列予測に対応し、任意の予測期間をサポートします。注目すべき点として、モデルの訓練における最大コンテキスト長は2048ですが、

先日、ハーバード大学の中国人研究員であるJeffrey Wang氏がOpenAIに正式入社、基礎チームの研究員としてモデルの事前学習と推論業務に携わることになりました。このニュースは大きな注目を集め、OpenAIの共同設立者兼社長であるGreg Brockman氏も、Wang氏の入社を歓迎するコメントを発表しました。Wang氏の学歴は非常に注目に値します。カリフォルニア州の高校を卒業した彼は、その当時から…

李飛飛チームは、人間の動作を理解・生成し、言語モデルと組み合わせることで口頭・非言語の統一処理を実現する新たな多モーダルモデルを発表しました。この画期的な研究により、機械は人間の指示を理解するだけでなく、動作に含まれる感情を読み解き、より自然なヒューマンコンピュータインタラクションが可能になります。本モデルの中核は、音声、動作、テキストなど多様な形式の入力を受容し、必要なモーダルデータを出力する多モーダル言語モデルフレームワークにあります。生成系事前学習戦略と組み合わせることで、モデルは…

OpenAIの共同設立者であるイリヤ・サツケバー（Ilya Sutskever）は最近、人工知能研究者は機械知能を拡張し、既存の限界を克服するための新しい方法を見つける必要があると述べました。サツケバーは、カナダのバンクーバーで開催された2024年ニューラル情報処理システム（NeurIPS）会議で講演を行い、人工知能事前学習の時代は終わりに近づき、人工知能超知能の台頭を予測しました。サツケバーは、より優れたハードウェア、ソフトウェア、そして機…

急速に発展する生成系AI分野において、Nous Researchチームは独自の取り組みを行っています。彼らは世界中に分散配置されたマシンを活用し、15億パラメーターの大規模言語モデル（LLM）の事前学習を実施しています。これは、従来の高価で電力消費量の多いデータセンターやスーパーコンピューターでの集中型開発を回避するものです。Nous Researchは、専用のウェブサイトdistro.nousresearch.comでこの事前学習プロセスを生中継し、リアルタイムで公開しています。

智譜 AIは、オープンソースモデルであるGLM-4-9BとCodeGeeX4-ALL-9BのOllama対応を発表しました。GLM-4-9Bは、多様な分野に対応する汎用モデルであり、優れた性能とオープンソース化によって注目を集めています。GLM-4-9Bを基盤とするCodeGeeX4-ALL-9Bは、多言語コード生成に特化し、生成能力を大幅に向上させています。Ollamaは、大規模言語モデルをローカル環境で簡単に展開できるツールで、Windows、macOS、Liに対応しています。

香港中文大学と中国科学院などの研究チームが、MiCo（Multimodal Context）と呼ばれる全モダリティ事前学習パラダイムを発表しました。この手法はマルチモーダル学習の分野で顕著な成果を上げており、37項目の最先端性能（SOTA）記録を更新しました。

大規模言語モデルはAIコミュニティで大きな注目を集め、その強力な能力を示しています。アップル研究チームは、合成データを用いた大規模言語モデルの事前学習におけるWRAP技術を発表しました。WRAPはモデルのパフォーマンスを向上させ、ウェブドキュメントを改良し、事前学習の効果を高めます。高品質の合成データを用いたトレーニングの高速化により、全体的なパフォーマンスが向上し、新たな道を切り開きます。

GPT-3などの大規模事前学習言語モデル（LLM）は、RAIN手法を用いることで、追加データや微調整なしに自己改善し、人間のニーズを満たすことができることが研究で明らかになりました。RAIN手法は、追加のモデルやデータの保存を必要とせず、ラベル付きデータやトレーニングにも依存しないため、様々な言語生成タスクに広く適用可能です。RAINは、LLMの性能を向上させ、敵対的攻撃の成功率を低下させることで、AIがより調和のとれた安全な応答を生成することを可能にします。この研究では、人間のニーズを満たすようにLLMを調整するための手法としてRAINが導入されています。

上海AIラボとコーパスデータ連合は、「書生・万巻」1.0多モーダル事前学習コーパスを共同でオープンソース化しました。テキスト、画像テキスト、ビデオデータセットを含み、総容量は2TBを超えます。このコーパスは、細粒度のクレンジングと重複排除が施されており、多様な融合、精密な処理、効率的な使用を特徴としています。オープンソースコーパスの公開は、大規模モデルの応用とイノベーションを促進し、大規模モデル技術の参入障壁を下げることに貢献します。