清華大学、復旦大学、スタンフォード大学の研究チームが最近、Agent開発フレームワーク「Eko」を発表しました。これは、シンプルなコードと自然言語を用いて、開発者が迅速に実用的な「バーチャル従業員」を構築することを目指しています。EkoフレームワークはユーザーのPCとブラウザを制御し、人間に代わって様々な面倒なタスクを実行できます。Ekoを使用することで、データ収集、テスト、ファイル管理などの自動化を実現できます。例えば、ヤフーファイナンスからデータを自動的に収集するといった設定が可能です。

11月28日、復旦大学は本科卒業論文（設計）におけるAIツールの利用に関する規定（試行）を発表し、本科卒業論文の執筆における人工知能ツールの利用について詳細な規定を設けました。これは、国内大学においてこの分野で初めて公式な管理規定を発表したものであり、この分野における政策の空白を埋めるものとなります。この規定によると、復旦大学では特定の条件を満たす場合に学生によるAIツールの利用を許可しています。学生は指導教員の同意を得た上で、創造性に関する評価に影響を与えない範囲でAIツールを利用することができます。

上海交通大学清源研究院MIFA研究所と復旦大学附属中山医院内分泌科の専門家チームが、先日Diabeticaという糖尿病特化型大規模言語モデルを共同開発しました。このモデルは、大規模言語モデルの自然言語処理能力と糖尿病専門知識を融合し、医師、患者、医療教育へのインテリジェントなサポートを目指しています。チームは新しいフレームワークを採用し、包括的なデータ処理システムを構築、高品質なデータセットと評価基準を作成し、大規模言語モデルをファインチューニングすることで、糖尿病関連タスクにおける性能を大幅に向上させました。

生成AIの普及に伴い、プロンプト取引市場は急速に拡大しています。しかし、PromptBaseを代表とする現状の取引プラットフォームは、依然として売り手主導の価格設定であり、客観的な価格評価基準を欠いています。この課題に対し、復旦大学マルチメディア＆インテリジェントセキュリティチームは、将来的な買い手市場により適応することを目指した、革新的なプロンプト取引モデルを発表しました。この新しい取引モデルは、大きく分けてプロンプトカテゴリの選択と価格設定戦略策定の2つの段階から構成されます。第一段階では、プラットフォームは貪欲探索に基づくマルチアームバンディットアルゴリズムを使用し、

復旦大学の研究チームが「概念消去術」(RECE)技術を開発しました。これは、AIモデル内の不適切な概念を効率的かつ正確に修正し、不適切な画像の生成確率を大幅に低下させながら、AIの他の創作能力を維持する技術です。「閉鎖解法」によって特定の部分を特定し修正することで、AIがより適切に、正軌を外れることなく創作することを保証します。実験によると、RECE技術はAIの倫理性と創作性を効果的に向上させ、AIの未来の発展に新たな方向性を示唆しています。将来のAIアシスタントは、よりスマートで、機転が利くものになるでしょう。

3Dデジタルヒューマン分野において、南京大学、復旦大学、そしてファーウェイ・ノアの方舟研究所の研究チームは、多視点一貫性と感情表現力の不足という問題に対する革新的な解決策を提案しました。彼らは、校正された多視点ビデオ、感情ラベル、フレームごとの3D幾何学的情報を含むEmoTalk3Dデータセットを開発しました。研究チームは、「音声から幾何学、そして外観へ」というマッピングフレームワークを構築することにより、感情を制御可能な3Dの会話アバターを合成できる新しい手法を提案し、リップシンクとレンダリング品質を大幅に向上させました。データセットの構築について

大規模言語モデル（LLM）は自然言語処理タスクの推進に重要な役割を果たしていますが、クロスモーダルなコンテンツ生成は依然として課題となっています。復旦大学チームは、モデルが音声とテキストコンテンツを理解し生成することを目指したSpeechGPTを発表しました。SpeechGPTは音声信号を離散化することで、テキストモダリティとの互換性を確保し、音声の知覚と生成能力を備えています。このモデルは感情を感知し表現することができ、コンテキストと指示に基づいて様々なスタイルの音声を生成することができます。これは、膨大な音声データセットによるものです。訓練戦略には、モダリティ適応事前学習が含まれます

復旦大学がオープンソースとして公開したプロジェクトHallo。音声と画像から動画を作成するこのプロジェクトが、ComfyUIプラグインに対応しました。インストールには多くの依存関係が必要で、比較的高いハードルがありますが、このオープンソースエコシステムの登場により、以降の画像生成やその他のプロセスに多くの可能性と楽しみがもたらされます。

復旦大学附属中山医院と光啓慧語は、光語医療大規模言語モデルを発表しました。カスタマイズされた医療AI能力モデルは、疾病診断、医師と患者のコミュニケーションなど、複数の医療シーンに適用できます。質の高い医学トレーニングデータにより、モデルの専門性と信頼性を保証します。光語医療大規模言語モデルは、数百億パラメータ規模と高品質な医学知識データに基づき、医療サービスの質と効率の向上、医療AIの全プロセスへの応用を推進します。