L'université Yale a présenté MindLLM, un modèle d'IA révolutionnaire capable de décoder les signaux fMRI du cerveau et de les traduire en texte. Cette avancée majeure rapproche la science-fiction de la réalité, ouvrant des perspectives fascinantes pour la communication et la compréhension du fonctionnement du cerveau.

近年、大規模言語モデル（LLM）の急速な発展に伴い、自然言語処理分野はかつてない変革を遂げています。これらの技術は現在、コードアシスタント、検索エンジン、パーソナルAIアシスタントなど、幅広い場面で活用され、その強力な能力を証明しています。しかし、従来の「次のトークン予測」パラダイムには限界があり、特に複雑な推論や長期的なタスク処理において、モデルは深い概念理解を習得するために膨大な量のトレーニングを必要としています。この問題を解決するため、Metaなどの研究機関の研究者たちは、

Colorful Technologyは、最新の「虹光AI」インテリジェントモデルアシスタントが、フルバージョンのDeepSeek R1モデルに完全に統合されたことを正式に発表しました。このアップグレードにより、Colorfulのノートブック製品のパフォーマンスと推論効率が大幅に向上しました。今回の更新された「虹光AI」アシスタントは、現在人気のTransformerアーキテクチャに基づいており、MLAとDeepSeek MoE技術を採用することで、メモリ使用量とキャッシュのニーズを大幅に削減し、全体的な推論性能を向上させています。

Sakana AIは、自然に着想を得たアルゴリズムに特化した人工知能研究ラボであり、最近、Transformer²（Transformer-squared）と呼ばれる革新的な適応型言語モデルを発表しました。このモデルは、高価な微調整を必要とせずに、推論プロセス中に動的に学習し、新しいタスクに適応できるため、大規模言語モデル（LLM）技術における重要な一歩を意味します。Transformer²の中核となる革新は、独自の2段階動的重み調整メカニズムにあります。

従来の大規模言語モデル（LLM）の微調整方法は、通常、計算集約的で、多様なタスクを処理する際に静的です。これらの課題に対処するため、Sakana AIはTransformer²と呼ばれる新しい適応型フレームワークを発表しました。Transformer²は推論中にLLMの重みをリアルタイムで調整できるため、タコのように柔軟に様々な未知のタスクに適応できます。Transformer² のコアは2段階メカニズムにあります。第1段階では、スケジューリングシステムが…

ViTPoseはオープンソースの動作予測モデルであり、人体姿勢の認識に特に優れています。まるであなたがどのような動作をしているかを理解しているかのように、動作を認識します。このモデルの最大の特徴は、そのシンプルさと効率性です。複雑なネットワーク構造を採用する代わりに、Vision Transformerと呼ばれる技術を使用しています。ViTPoseの中核は、純粋なVision Transformerを使用することであり、これは画像内の重要な特徴を抽出できる強力な「骨格」のようなものです。他のモデルのように複雑な処理を必要としません。

2022年の世界的な生成AIブームを背景に、元始智能（RWKV）は2023年12月、天際資本より数千万人民元規模のエンジェルラウンド資金調達を実施しました。今回の調達により、企業価値は倍増し、調達資金はチーム拡大、新アーキテクチャ開発、製品商業化に充当されます。RWKVの登場は、従来のTransformerアーキテクチャに対する強力な挑戦です。大規模言語モデル（LLM）の発展に伴い、モデルのパラメータ規模はますます大きくなっていますが、幻覚や精度といった問題点も依然として残っています。

中国科学院、同済大学、寧波大学の合同チームが開発した革新的な点群圧縮技術（TSC-PCAC）が大きなブレークスルーを達成しました。この技術は点群データの圧縮効率を大幅に向上させるだけでなく、処理時間も大幅に短縮し、AR/VRなどの3Dアプリケーションの発展における技術的障壁を取り除きました。現在、3Dビジョン技術が急速に発展する中で、点群は仮想現実と拡張現実の重要なデータ形式として、膨大なデータ伝送とストレージの課題に直面しています。高品質の点群は数百万個のデータポイントを含む場合があり、各点は…

現在の大規模言語モデル（LLM）開発競争において、主要なAI企業はますます多くの課題に直面しており、そのため「Transformer」以外の代替アーキテクチャに注目が集まっています。2017年にGoogleの研究者によって提案されて以来、Transformerアーキテクチャは今日の生成AIの基盤となっています。この課題に対処するため、MIT発のスタートアップであるLiquid AIは、STAR（Synthesi…

彩雲科技は先日北京で「From Paper to App」をテーマとしたコミュニケーション会議を開催し、DCFormerアーキテクチャに基づく汎用大規模言語モデル「雲錦天章」を正式に発表しました。そして、同社のAI RPGプラットフォーム「彩雲小夢」がDCFormerベースのV3.5バージョンにアップグレードされたことも発表しました。これは、人工知能分野におけるモデルアーキテクチャの効率性において、大きなブレークスルーを達成したことを意味します。AI分野において、TransformerアーキテクチャはChatGPT、Geminiなどの主要な大規模言語モデルの中核技術を支え続けています。今年、

高品質で時間的に連続した動画の生成には、特に長い時間範囲を扱う場合、膨大な計算資源が必要です。最新の拡散Transformerモデル（DiTs）は動画生成において著しい進歩を遂げましたが、より大規模なモデルと複雑なアテンション機構に依存しているため、推論速度が遅く、この課題を悪化させています。この問題を解決するため、Meta AIの研究者らは、動画DiTsを高速化するAdaCacheという訓練不要な手法を提案しました。

アリババの通義实验室による最新の研究によると、既存のテキストから画像を生成するDiffusion Transformerモデルは、特定の関係を持つ複数の画像を生成する能力を既に備えており、少し「ヒント」を与えるだけで「統合理解」し、高品質の複数画像セットを生成できることが示されました。従来のDiffusionモデルは「丸暗記」をする生徒のようなもので、高品質の画像を生成するには大量のデータによるトレーニングが必要でした。しかし、IC-LoRAの活用により、「類推」が得意な秀才のようなモデルとなり、少量のデータで済むようになります。

DeepMindが最近発表した、超大規模Transformerをチェスに応用した論文が、AIコミュニティで大きな議論を呼んでいます。研究者らは、ChessBenchと呼ばれる新しいデータセットを用いて、最大2億7000万パラメータのTransformerモデルを訓練し、チェスのような複雑な計画問題における能力を探りました。ChessBenchデータセットは、Lichessプラットフォームから収集された1000万局の人間同士のチェス対局の棋譜を含んでおり、

大規模言語モデルは多くのタスクで優れた成果を示していますが、その推論能力は常に議論の的となっています。Metaの研究者らは最近、論文を発表し、Transformerモデルを使用して、数学分野における長年の難問である力学系のグローバルリアプノフ関数の発見にどのように取り組んだかを示しました。リアプノフ関数は、力学系が安定しているかどうかを判断するために使用できます。例えば、三体問題（3つの天体が重力の作用下で長期的にどのように動くか）の長期的な安定性を予測するために使用できます。しかし、現在、普遍的な方法は見つかっていません。

MetaのFAIRチームは最近、Dualformerという新しいTransformerモデルを発表しました。このモデルは人間の二重認知システムを模倣し、高速推論と低速推論のモードをシームレスに統合することで、推論能力と計算効率において顕著な進歩を遂げています。人間の思考過程は一般的に、2つのシステムによって制御されていると考えられています。システム1は高速で直感的であり、システム2はより低速ですが論理的です。従来のTransformerモデルは、通常システム1またはシステム2のどちらか一方のみを模倣していました。

近年、大規模言語モデル（LLM）の進歩が目覚ましいですが、その中心となっているのがTransformerモデルです。Transformerの中核はアテンション機構であり、これは情報フィルターのようなもので、モデルが文中で最も重要な部分に注目できるようにします。しかし、強力なTransformerであっても、無関係な情報によって妨害されることがあります。図書館で本を探しているのに、関係のない本に埋もれて効率が悪くなるようなものです。このようなアテンション機構から生じる無関係な情報は、論文ではアテンションノイズと呼ばれています。例えば、あなたが…