マイクロソフトは最近、Hugging FaceプラットフォームでPhi-4という小型言語モデルを発表しました。このモデルのパラメータ数はわずか140億ですが、複数の性能テストで優れたパフォーマンスを示し、OpenAIのGPT-4oやQwen2.5、Llama-3.1などの著名なモデルを上回っています。以前行われたアメリカ数学コンテストAMCのテストでは、Phi-4は91.8点を獲得し、Gemini Pro1を大きく上回りました。

北京大学などの研究チームが、LLaVA-o1というマルチモーダルなオープンソースモデルを発表しました。これは、自発的かつ体系的な推論を行うことができる、最初のビジョン言語モデルであるとされています。GPT-o1に匹敵する性能です。このモデルは、6つの難易度が高いマルチモーダルベンチマークテストで優れた性能を示し、110億パラメーターのバージョンでは、Gemini-1.5-pro、GPT-4o-mini、Llama-3.2-90B-Vision-Instructなどの競合他社を凌駕しました。

NVIDIAが、Llama-3.1-Nemotron-70B-Instructという新型AIモデルを静かにリリースしました。その優れたパフォーマンスはOpenAIのGPT-4やAnthropicのClaude 3.5を上回り、AI業界の競争構造に大きな変化をもたらしています。このモデルはHugging Faceで公開されましたが、大々的な宣伝はされていません。しかし、その卓越した性能は瞬く間に注目を集めています。

昆侖万維科技股份有限公司は先日、同社が開発した2つの新しい報酬モデル、Skywork-Reward-Gemma-2-27BとSkywork-Reward-Llama-3.1-8Bが、国際的に権威のある報酬モデル評価ベンチマークRewardBenchで卓越した性能を示したと発表しました。特にSkywork-Reward-Gemma-2-27Bモデルはトップの座を獲得し、RewardBench公式から高い評価を得ています。

Arcee AIは、企業向けに展開可能な700億パラメーターの大規模言語モデル「SuperNova」を発表しました。これは、強力で、所有可能で、データプライバシー、モデルの安定性、そしてカスタマイズ性に重点を置いたAIソリューションを提供することを目的としています。SuperNovaはMetaのLlama-3.1-70B-Instructアーキテクチャを採用し、革新的な事後トレーニングプロセスを通じて、高度な指示遵守能力を備えています。企業による完全なカスタマイズをサポートし、企業独自のクラウド環境での展開を可能にすることで、データの…

Nvidiaの研究チームは、モデルプルーニングと知識蒸留技術を用いて、Llama 3の圧縮版であるLlama-3.1-Minitron4Bを発表しました。これは、デバイス上でのAIを実現することを目的とした、わずか4億パラメーターのモデルです。深度プルーニングと幅方向プルーニング技術により、元の80億パラメーターのモデルから大幅にパラメーター数を削減しながら、大規模モデルに匹敵する性能を維持しています。トレーニングデータ量が大幅に削減（40倍）されたにも関わらず、MMLUベンチマークテストにおいて16％の性能向上を実現しました。この成果はNVIDIAのNe…

aiOSは、hyperspaceai組織が開発した、Mistral7Bモデルに基づく世界初の分散型AIネットワークです。最先端の分散型AIコンピューティングをユーザーに提供し、AIのアクセシビリティを根本的に変革することを目指しています。現在、このアプリケーションは初期開発段階にあり、Windows、Linux、macOSユーザー向けにダウンロードして体験いただけます。Llama-3にも対応しており、無料で体験可能です。

Metaは、Llama-3のトレーニングに使用される24,000個のH100 GPUを搭載した2つのクラスターを発表しました。Llama-3は、RoCEv2ネットワークとTectonic/HammerspaceのNFS/FUSEネットワークストレージを使用しています。Llama-3は4月末から5月中旬にかけてリリースされる予定で、マルチモーダルモデルになる可能性があり、引き続きオープンソースとして公開される予定です。Metaは、2024年末までに60万個のH100のコンピューティング能力を保有する計画です。

アリババグループは、CodeFuse-CodeLlama-34Bの4ビット量子化バージョンを発表しました。量子化されたモデルは、単一のA10またはRTX4090でロード可能です。量子化されたモデルは、Humaneval pass@1指標で73.8％の性能を達成しました。CodeFuseはアリババが独自開発したコード生成専用の巨大言語モデルであり、インテリジェントな提案とリアルタイムサポートを提供することで、開発者の開発効率を向上させます。