人工知能分野では、大型言語モデル（LLMs）のトレーニングが技術進歩を推進する重要な方向性となっています。しかし、モデルの規模とデータセットの拡大に伴い、従来の最適化手法—特にAdamW—がその限界を次第に露呈しています。研究者たちは計算コストの高さやトレーニングの不安定さなど、一連の課題に直面しています。これには、勾配の消失や爆発、パラメータ行列の更新不整合、分散環境下でのリソース要求の高さなどがあります。したがって、これらの複雑性に対処するために、より効率的で安定した最適化技術の必要性が高まっています。

AIが「脳を持つ」ようになった?! マサチューセッツ工科大学(MIT)の最新研究によると、大規模言語モデル(LLM)の内部構造は、人間の脳と驚くべき類似性を持っていることが明らかになりました！この研究では、スパース自己符号化器技術を利用してLLMの活性化空間を詳細に分析し、3つの階層構造を発見しました。まず、ミクロレベルでは、「結晶」のような構造の存在が確認されました。これらの「結晶」の面は平行四辺形や台形で構成されており、私たちがよく知る単語の類推(例：「男性：女性＝国王：女王」)と類似しています。

本日未明、Anthropic AI社は、アップグレード版Claude 3.5 Sonnetと新モデルClaude 3.5 Haikuを含むClaude 3.5シリーズを発表しました。これらの新バージョンは、機能とパフォーマンスが大幅に向上しています。同時に、画期的な新機能「Computer use」も発表されました。この機能により、開発者はAPIを通じて、Claudeにマウスやキーボードなどの操作を人間のように行わせる事が可能になります。

T-MAC（Table-Lookup-based MAC）技術は、エッジデバイスにおける大規模言語モデル（LLM）のメモリと計算能力の制限問題を解決することを目的としています。モデルの重みを低ビット表現に量子化することで、T-MACは従来の乗算演算をルックアップテーブル（LUT）で置き換え、CPU上での実行効率を大幅に向上させます。この手法は、演算に必要なメモリを大幅に削減し、数十億パラメータのLLMをリソースの限られたデバイス上で効率的に実行し、スマートアップグレードを実現します。既存の実装と比較して、T-

著名テクノロジー記者マーク・ガーマン氏の最新情報によると、AI搭載SiriはiOS18のリリースと同時に提供されません。アップルは来年1月にテストを開始し、iOS18.4で正式リリースする予定です。ユーザーには約9ヶ月の期待期間が与えられます。iOS17.4のリリーススケジュールを振り返ると、iOS18.4の正式配信は春の3月になる可能性が高く、その時ユーザーはSiri AIアップグレードによる変革を体感できるでしょう。

11月3日、Bilibili UP主「精致的男孩富贵」が大型言語モデルの知能テストに挑戦しました。論理の欠けた質問を繰り返し、大型言語モデルの論理的思考能力をテストしました。人工知能は的外れな回答を繰り返しましたが、これはその論理推論能力の限界を示しています。UP主は、より多くのデータとアルゴリズムの改良によって、AIがより複雑な問題に対応できるようになると考えています。この動画は、技術開発と人工知能の能力について深く考えるきっかけとなりました。

Google DeepMindは、大規模言語モデル（LLM）を用いた最適化フレームワークOPROを発表しました。自然言語によるソリューション記述を活用しています。 「深呼吸」が最適なプロンプトとなり、モデル性能の向上に繋がったことから、大型言語モデルが肯定的なフィードバックにどのように反応するのか、研究者たちの注目を集めています。 OPROは数学問題においても潜在能力を示し、線形回帰などの最適化に成功、自然言語による問題記述の最適化に新たなアプローチを提供します。 様々なタスクにおけるプロンプト最適化の有効性を検証し、顕著な改善が確認されており、幅広い応用が期待されます。