天眼查Appによると、テンセント科技（深圳）有限公司は最近、「大規模言語モデルの訓練方法、装置、コンピュータ機器および記憶媒体」という名称の特許を申請しました。この特許の概要では、この方法が第一要約テキストと第二要約テキストを導入することにより、大規模言語モデルの訓練においてモデルにより多くの学習可能な情報を提供することを明らかにしています。特許明細書によると、第一要約テキストと第二要約テキストは異なる情報量を含んでおり、第一要約テキストには正しい文と間違った文が含まれています。同一テキストに対するこれら2つの...

最近、テンセント科技（深セン）有限公司は、天眼查App上で大規模言語モデルのトレーニング方法および関連機器に関する特許を発表しました。この特許の名称は「大規模言語モデルのトレーニング方法、装置、計算機設備および記憶媒体」で、革新的なトレーニング方法を通じて、大規模言語モデルの学習能力と精度を向上させることを目的としています。大規模言語モデルのトレーニングにおいて、従来の手法は単一のテキスト要約に依存することが多く、モデルの過学習を招き、生成されるコンテンツの正確性と多様性に影響を与える可能性があります。しかし、テンセントの新…

マサチューセッツ工科大学（MIT）の研究チームは最近、大規模言語モデル（LLM）の様々なタスクにおける性能について詳細な調査を行いました。その結果、LLMは慣れたタスクでは良好な性能を示すものの、非典型的または未知の状況下では推論能力に深刻な限界があることが明らかになりました。「デフォルトタスク」と「反事実シナリオ」を比較し、タスク設計を調整してモデルの反応をテストした結果、モデルは10進数の算術演算では非常に優れていますが、非10進数の環境や、音楽、空間推論、チェスなどの他のタスクでは全く異なる性能を示すことがわかりました。

35年間、AIが人間のようにシステム汎化能力を持つことができるかどうかは議論の的でした。NYUとポンペウ・ファブラ大学の研究者らが、初めて神経ネットワークが人間のようなシステム汎化を実現できることを証明しました。彼らが提案したMLCモデルは、タスク環境で神経ネットワークを訓練し、段階的に組み合わせ語彙の意味の体系的な推論能力を獲得させます。MLCモデルはGPT-4を凌駕し、驚くべき人間的な思考を示しました。この研究は人工知能と認知科学に大きな影響を与え、神経ネットワークにシステム汎化能力を与えました。

Google DeepMindのロボット研究チームは最近、大規模言語モデルを用いて7ヶ月かけて開発されたRT-2と呼ばれるロボットプロジェクトを発表しました。RT-2は、記号の理解、推論、人物認識などの能力を備え、人間の指示に基づいて思考し、タスクを実行できます。「絶滅危惧種」から「プラスチックの恐竜」など、論理的な飛躍を伴うタスクもこなせます。このプロジェクトの成果は、様々な細分化されたテストにおいて良好な性能を示しました。