南カリフォルニア大学とGoogle Researchは、大規模言語モデルにおける継続学習における壊滅的な忘却問題を解決するための、チャネル式軽量リエンコーディング(CLR)手法を提案しました。
CLR手法は、軽量モジュールを導入することで、各層のチャネル特徴マップを再プログラミングし、モデルが新しいタスクに適応することを可能にします。追加パラメータはわずか0.6%です。
動的ネットワーク方式を採用することで、CLR手法はマルチタスク継続学習を実現し、より優れた性能と柔軟性を提供します。これは、将来の継続学習研究と応用にとって新たな機会をもたらします。
【AIデイリー】へようこそ！ここは、毎日人工知能の世界を探求するためのガイドです。毎日、開発者に焦点を当て、技術トレンドを洞察し、革新的なAI製品アプリケーションを理解するのに役立つ、AI分野のホットなコンテンツをお届けします。
【AIデイリーニュース】へようこそ！AIの世界を探求するための毎日更新のガイドです。毎日、AI分野のホットなトピック、開発者への注目、技術トレンドの理解、革新的なAI製品のアプリケーションに関する情報を提供します。最新のAI製品はこちらをご覧ください：https://top.aibase.com/1、DeepSeekオープンソースウィーク初日：巨大言語モデルアクセラレータFlashMLAを発表、デコード性能は3000GB/sに
日本のAI企業であるSakana AIは最近、Transformer²を発表しました。これは、言語モデルがさまざまなタスクに効率的に適応するのを支援することを目的とした革新的な手法です。既存のAIシステムとは異なり、Transformer²は2段階の学習プロセスを通じて、言語モデルが新しいタスクに直面した際にしばしば遭遇する限界を克服します。これは、継続学習技術における大きな進歩を示しています。現在のAIシステムは通常、一度のトレーニングで複数のタスクを処理する必要がありますが、新しいタスクに直面すると容易に困難に遭遇します
昨日、閃極科技は、国内初の量産型AI撮影眼鏡「閃極AI拍拍鏡」を発表しました。このAI撮影眼鏡の価格は1499元ですが、最初の5万台のコラボレーション版は999元という特別価格で提供され、300日間チェックインで200日間の全額返金キャンペーンも行われています。閃極AI拍拍鏡は業界で初めて、ソニー製1600万画素、123度超広角レンズのカメラモジュールを搭載し、紫光展鋭製のフラッグシップ級低消費電力ARMプラットフォームも備えています。この眼鏡には6500mAhの大容量バッテリーリングも付属しており、HI-Fに対応しています。
最近、AI業界で奇妙な事件が発生しました。まるで食べ放題のYouTuberが自作料理を食べ始め、ますます中毒になり、料理の質が悪化していくようなものです。これは非常に恐ろしいことであり、専門用語ではモデル崩壊（model collapse）と呼ばれます。モデル崩壊とは何か？簡単に言えば、AIモデルが学習中に大量に自己生成データを使用すると、悪循環に陥り、生成されるデータの質が低下し、最終的に機能しなくなることです。これは閉鎖された生態系のようなもので、AIモデルがそのシステムなのです。
最近、ケンブリッジ大学などの研究チームが重要な論文を発表し、大規模言語モデル（LLM）の真の姿を明らかにしました。最新のLLMの実際のパフォーマンスを深く分析した結果、衝撃的な事実が判明しました。— 期待されていたAIモデルは、多くの基本的なタスクにおいて、想像していたほど優れたパフォーマンスを発揮していないのです。この研究では、o1-previewを含む複数の最先端モデルを包括的に評価しました。その結果、AIモデルと人間の理解力には顕著な違いがあることが示されました。驚くべきことに、モデルは人間が認識する...
見出し：AIの「ゴッドマザー」李飛飛氏が設立したWorld Labsが2億3000万ドルの資金調達に成功！ スタンフォード大学の教授であり、AIの「ゴッドマザー」と呼ばれる李飛飛氏の新興企業World Labsは、Andreessen Horowitz、NEA、Radical Venturesなどの著名なベンチャーキャピタルから2億3000万ドルの資金調達を行いました。この資金調達により、World Labsの評価額は10億ドルを超えました。
昆侖万維科技股份有限公司は先日、同社が開発した2つの新しい報酬モデル、Skywork-Reward-Gemma-2-27BとSkywork-Reward-Llama-3.1-8Bが、国際的に権威のある報酬モデル評価ベンチマークRewardBenchで卓越した性能を示したと発表しました。特にSkywork-Reward-Gemma-2-27Bモデルはトップの座を獲得し、RewardBench公式から高い評価を得ています。
長文脈理解は自然言語処理分野における重要な課題であり、特に大規模言語モデル（LLM）がコンテキストウィンドウサイズを超えるテキストを処理する場合に顕著です。この問題に対処するため、研究者らはLooGLEベンチマークテストを開発しました。これは、超長文書（平均19.3k単語、計776篇、多様な分野を網羅）を処理する際のLLMの長文脈理解能力を評価することを目的としています。LooGLEは、短依存関係と長依存関係を網羅する7つのタスクを含んでおり、様々な長さのテキストに対するモデルの理解度を評価します。テストデータは2022年以降の公開文献から取得されています。
Metaが、Llama 3 405Bと呼ばれるオープンソースの大規模言語モデルを発表予定です。これは、現在までに存在する中で最大のパラメータ数（4050億）を持つモデルであり、史上最大のオープンソースモデルでもあります。画像とテキスト間の自由な変換が可能なため、従来のテキストのみを処理できるという限界を克服します。Llama 3 405Bは7月23日に公開予定で、オープンソースであることから、AIモデルへのアクセスと利用方法が大幅に向上し、AIコミュニティの透明性も高まります。開発者にとって、4050億個のパラメータにアクセスできることは...
テンセントクラウドは最近、巨大言語モデル知識エンジンを発表しました。これは、知識サービスアシスタントを迅速に構築できるツールです。業界レポート、会議用PPT、教科書、マニュアル、契約書、学術論文など、複雑なPDF文書の処理に特に優れています。これらの文書は、テキスト、画像、表が含まれ、フォーマットが複雑なため、従来のOCR技術では困難でした。