北京智源人工智能研究院は、様々な大規模言語モデルを効率的かつ正確に評価できる「JudgeLM」という評価モデルをオープンソース化しました。
GPT-4と比較して、JudgeLMはコストを1/120に抑えながら、90％以上の評価結果の一致率を実現しています。
JudgeLMは、純粋なテキストデータやマルチモーダルデータなど、様々な評価シナリオに適用でき、スコア、判定、根拠の説明を出力できます。
革新的な手法により、JudgeLMは正解との一致率が90％を超え、人間の評価に匹敵する精度を達成しています。
智源研究院は、大規模言語モデルの評価に関する更なる研究を促進するため、トレーニングデータと検証データを含むデータセットも公開しました。
今後、JudgeLMチームは、より正確で効率的で、より多くのシナリオに対応できる大規模言語モデル評価モデルを目指し、更なる改良を進めていきます。
【AIデイリー】へようこそ！ここは、毎日人工知能の世界を探求するためのガイドです。毎日、開発者に焦点を当て、技術トレンドを洞察し、革新的なAI製品アプリケーションを理解するのに役立つ、AI分野のホットなコンテンツをお届けします。
人工知能分野において、大規模言語モデルの幻覚問題は業界を悩ませる重要な課題となっています。最近、HHEM-2.1-Open評価システムに基づいたテスト結果によると、智譜AIのGLM-4-9Bモデルは注目すべき成果を上げました。テストデータによると、評価に参加した85個の大規模言語モデルの中で、GLM-4-9Bは98.7％の事実一致率と100％の回答率で首位を獲得しました。特に注目すべきは、このモデルの幻覚率がわずか1.3％であることであり、この成果は…
上海人工知能研究所司南OpenCompassチームと魔搭ModelScopeが共同で発表した大規模言語モデル評価プラットフォームCompassArena（大規模言語モデル競技場）が最近アップグレードされました。ユーザーにより科学的で包括的なモデル評価体験を提供することを目指しています。公開以来、このプラットフォームは多くのコミュニティユーザーが参加し、データを提供してきました。これらのデータに基づいて、CompassArenaは継続的に最適化されており、今回のアップグレードには新しいJudge Copilot機能とランキングアルゴリズムの改善が含まれています。
智源研究院とテンセントグループは、2024年12月18日に戦略的提携契約を締結しました。両者は大規模モデルの研究開発、人工知能技術の最先端研究、オープンソースエコシステム構築など、複数の分野で緊密に協力していきます。提携契約に基づき、智源研究院とテンセントはそれぞれの強みを活かし、大規模モデル技術と産業現場の深い融合を推進し、多様な計算環境下における大規模モデルの学習と推論最適化技術ソリューションを探求します。また、技術開発と応用促進のため、オープンで革新的なソフト・ハードウェアエコシステムの構築を目指します。
12月5日、バイトダンスの豆包大規模言語モデルチームは、最新のコード大規模言語モデル評価ベンチマーク「FullStack Bench」を発表しました。これは11種類以上の現実的なシナリオを網羅し、16種類のプログラミング言語をサポート、3374個の問題を含んでいます。このベンチマークは、従来の評価基準と比べて、より広範なプログラミング分野で、大規模言語モデルのコード開発能力をより正確に評価でき、現実世界のプログラミングタスクにおけるモデルの最適化を促進します。HumanEvalやMBPPなど、現在主流のコード評価ベンチマークは、通常、基礎と高度なレベルに集中しています。
北京智源人工知能研究院（BAAI）は最近、世界初の中国語大規模言語モデル論争プラットフォームFlagEval Debateを発表しました。この新しいプラットフォームは、モデル間の論争という競争メカニズムを通じて、大規模言語モデルの能力評価のための新しい測定方法を提供することを目的としています。これは、智源モデル対戦評価サービスFlagEval大規模言語モデル競技場の拡張であり、大規模言語モデル間の能力の違いを識別することを目標としています。
自然言語処理分野では、大規模言語モデル（LLM）が急速に発展しており、多くの分野で目覚ましい進歩を遂げています。しかし、モデルの複雑性が増すにつれ、その出力を正確に評価することが非常に重要になります。従来は、人間による評価に依存していましたが、この方法は時間と費用がかかり、規模を拡大することが難しく、モデルの急速な発展のペースについていくことができません。この状況を変えるため、Salesforce AI研究チームは、3つの大規模言語モデルで構成されるSFR-Judgeを発表しました。
2024北京文化フォーラムにおいて、北京智源人工知能研究院（BAAI）は、新世代の中文インターネットコーパスCCI3.0（Chinese Corpora Internet）の正式発表を行いました。データの共同構築と共有を促進します。CCI3.0は1000GBのデータセットと498GBの高品質サブセットCCI3.0-HQを含み、2023年11月のCCI1.0の最初のオープンソース化、2024年4月のCCI2.0発表に続く重要なアップデートとなります。
北京百度網訊科技有限公司と北京智源人工知能研究院は本日、正式な戦略協力協定を締結したことを発表しました。両者は大規模言語モデルなどの分野で深層的な協業を行い、人工知能の産学連携エコシステムを共同で構築します。百度は2010年から人工知能の全面的な展開を開始しており、昆侖チップ、飛槳深層学習プラットフォーム、文心大模型から応用まで、全スタック展開を行っている世界でも数少ない人工知能企業です。
2024年9月4日、北京智源人工知能研究院（BAAI）は、テキストからビデオ生成を含むモデルの対抗評価サービス「FlagEval大規模モデル闘技場」の世界初の提供を発表しました。このサービスはユーザー向けに公開されており、国内外の約40種類のLLMを網羅し、言語応答、マルチモーダル画像テキスト理解、テキストから画像生成、テキストからビデオ生成の4つのタスクに対応した、オンラインまたはオフラインでのカスタム評価をサポートしています。
上海人工知能研究所の司南 OpenCompassチームと魔搭 ModelScopeが協力して、Compass Multi-Modal Arenaをリリースしました。これは大規模言語モデル評価プラットフォームの新しいセクションであり、マルチモーダル大規模言語モデルに焦点を当てています。ユーザーは画像をアップロードして質問を入力することで、2つの匿名のマルチモーダル大規模言語モデルに回答を生成させ、生成されたコンテンツの質に基づいて主観的な評価を行い、より優れたパフォーマンスを示したモデルを選択できます。プラットフォームはシンプルで使いやすいインターフェースと特徴的な問題集を提供しており、問題集の側面は…