査読システムは科学の進歩の礎石ですが、投稿数の急増により、このシステムは大きなプレッシャーに直面しています。この問題を軽減するために、大規模言語モデル（LLM）を活用した審査支援が試みられています。しかし、最新の研究により、LLMによる審査における重大なリスクが明らかになり、LLMによる審査を広く導入する準備が整っていない可能性が示唆されました。上海交通大学の研究チームは実験を通じて、著者が論文に微妙な操作的な内容を埋め込むことで、LLMの審査結果に影響を与えることができることを発見しました。この操作は明ら...

近年、大規模言語モデル（LLM）の幅広い応用により、これらのモデルは複雑な推論や問題解決タスクにおいて重要な役割を果たしています。特に、OpenAIのo1アーキテクチャにインスパイアされたo1-likeモデルは、人間のような思考や段階的な推論能力で注目を集めています。しかし、これらのモデルは「過剰思考」という顕著な非効率性の問題を抱えています。いわゆる過剰思考とは、単純な問題を処理する際にも、不必要な計算資源を消費し、推論過程で無意味なステップを繰り返してしまうことを指します。

テンセント優圖ラボと上海交通大学研究チームは、大規模言語モデルの最適化に革命的な知識増強手法を共同で開発しました。この革新的な技術は従来のモデル微調整の限界を克服し、オープンソースデータから直接知識を抽出し、モデル最適化プロセスを大幅に簡素化します。複数のタスクにおいて、既存の最先端技術（SOTA）を凌駕する優れた性能を実現しました。近年、大規模言語モデル（LLMs）は様々な分野で目覚ましい進歩を遂げていますが、実用化にあたっては依然として多くの課題が残されています。従来のモデル微調整手法は…

上海交通大学清源研究院MIFA研究所と復旦大学附属中山医院内分泌科の専門家チームが、先日Diabeticaという糖尿病特化型大規模言語モデルを共同開発しました。このモデルは、大規模言語モデルの自然言語処理能力と糖尿病専門知識を融合し、医師、患者、医療教育へのインテリジェントなサポートを目指しています。チームは新しいフレームワークを採用し、包括的なデータ処理システムを構築、高品質なデータセットと評価基準を作成し、大規模言語モデルをファインチューニングすることで、糖尿病関連タスクにおける性能を大幅に向上させました。

テンセントYouTuラボと上海交通大学は、大規模モデルのパフォーマンス向上における重要な要素である指示調整のデータセット評価と選択に焦点を当てた詳細なレビューを発表しました。本研究は、データの質、多様性、重要性の3つの側面を分析することで、効率的で多様性があり、重要なデータセットを構築する方法をガイドし、大規模モデルが自然言語処理の本質を習得することを目指しています。研究では、データの質が指示調整の効果に直接影響し、多様性がモデルの汎化能力を確保し、重要性の評価がトレーニングプロセスを最適化すると指摘しています。データの選択とモデルの特性に関する現在の課題に対応するために、…

上海交通大学とバイトダンスが共同開発した全二重型言語モデルLSLMは、従来のAIアシスタントのインタラクションモデルを覆し、聞きながら話せるリアルタイムインタラクションを実現しました。LSLMの最大の強みは、音声入力と生成出力を同時に処理できる点で、対話の自然さと流暢さを大幅に向上させています。ストリーミング自己教師あり学習とトークンベースのデコーダを組み合わせることで、リアルタイム音声インタラクションをサポートし、騒音環境下でも優れた性能を発揮します。LSLMの中間融合戦略は、音声生成とリアルタイムインタラクションの最適なバランスを実現し、強力なノイズ耐性を示しています。

AI絵師が「コップに入ったアイスコーラ」のような特定のシーンを生成する際に困難に直面しており、テキストと画像の不一致の問題が明らかになりました。上海交通大学博士の趙峻図氏とそのチームは、最先端のAIモデルでさえ、透明なガラスのコップと従来の茶碗の違いなど、テキストの説明にある複雑な概念を正確に理解し、表現することが難しいことを発見しました。この問題を解決するために、彼らはMixture of Concept Experts（MoCE）という手法を提案し、大規模言語モデルを用いてAIが隠れた概念を理解し、テキストをより正確に制御できるようにしました。

上海交通大学と百度は共同で、白玉蘭科学大模型2.0版を発表しました。このバージョンには、「法律オープンソース」と「化学合成2.0」が含まれています。白玉蘭科学大模型—法律オープンソースは、法律総合評価テストにおいて、他のオープンソース中国語汎用大規模言語モデルを凌駕しました。この協力は、AI for Science分野の発展を推進しました。両者はAI for Science分野における協力で新たな進展を遂げ、協力の模範を示しました。