医療AI評価に焦点を当てた研究論文において、マイクロソフトが複数のトップレベルの大規模言語モデルのパラメータ規模をうっかり公開した可能性がある。12月26日に公開されたこの論文は、OpenAIやAnthropicを含む複数企業のモデルパラメータデータを明らかにし、モデルアーキテクチャと技術力の議論を巻き起こしている。論文によると、OpenAIのo1-previewモデルは約3000億パラメータ、GPT-4oは約2000億パラメータ、GPT-4o-miniはわずか80億パラメータであるとされている。

人工知能が急速に発展する中で、数名の学生が設立したプラットフォームが静かにゲームのルールを変えつつあります。Chatbot Arenaは、世界で最も注目されているAIシステム評価プラットフォームとなるだけでなく、テクノロジー大手間の争奪戦の重要な舞台にもなっています。2023年4月にカリフォルニア大学バークレー校、スタンフォード大学、カリフォルニア大学サンディエゴ校の学生によって共同で立ち上げられたこのプロジェクトは、従来のAI技術評価を前例のない方法で覆しました。過去の退屈な数学や法律のテストとは異なり、Chatbot

Hugging Faceは最近、軽量なAI評価ツールであるLightEvalを発表しました。これは、企業や研究機関がより正確に大規模言語モデルを評価することを支援することを目的としています。このツールは、AI技術アプリケーションにおける評価の重要性を強調し、モデル出力の正確性、公平性、およびビジネス目標との整合性を確保するのに役立ちます。従来の評価方法の限界に対処するために、LightEvalはカスタマイズ可能な評価ソリューションを提供し、Hugging Faceのその他のツール（例：Datat…）と統合されています。

Hugging FaceがOpen LLM Leaderboardを更新しました。この措置は、オープンソースAI開発の状況に大きな影響を与えるでしょう。今回の改善は、研究者や企業が、大規模言語モデル（LLM）のパフォーマンス向上に停滞感を感じている重要な時期に行われました。

智譜AIが、高品質で低コストな評価モデルCritiqueLLMを発表しました。従来のBLEUやROUGEなどの評価指標は、全体的な意味を捉えることが苦手でしたが、CritiqueLLMは解釈可能で拡張性の高いテキスト品質評価モデルです。8種類の一般的なタスクにおいて、CritiqueLLMは他のモデルを上回りました。CritiqueLLMは、ユーザーからの質問拡張、参照テキストを含む評価データ収集、参照テキストのない評価データの書き換え、そしてモデルのトレーニングによって実現しました。

🔥 OpenAIが従業員株式を860億ドルの評価額で売却交渉中。 📈 以前には30億ドルの株式を300億ドルの評価額で売却することに成功。 📊 OpenAIは引き続き潜在的な投資家と交渉中で、最終的な配分と条件は変更される可能性があります。