最近、マイクロソフトリサーチはワシントン大学、スタンフォード大学、南カリフォルニア大学、カリフォルニア大学デービス校、カリフォルニア大学サンフランシスコ校の研究者らと共同で、LLaVA-Radを発表しました。これは、臨床放射線レポート作成の効率向上を目指した、新しい小型マルチモーダルモデル（SMM）です。このモデルの発表は、医学画像処理技術の大きな進歩を示すとともに、放射線の臨床応用にも多くの可能性をもたらします。
バイオメディカル分野では、大規模基礎モデルに基づく研究が優れた応用性を示しており、特にマルチモーダル生成AIの発展により、テキストと画像を同時に処理することで、視覚的な質問応答や放射線レポート作成などのタスクをサポートできるようになりました。しかし、現在も多くの課題が残っています。例えば、大規模モデルはリソース要求が高く、臨床環境での幅広い展開が困難です。小型マルチモーダルモデルは効率が向上していますが、大規模モデルと比較すると、性能に大きな差があります。さらに、オープンソースモデルの不足や、信頼できる事実の正確性評価方法の欠如も、臨床応用を制限しています。
LLaVA-Radモデルは、7つの異なるソースから得られた697,435組の放射線画像とレポートのデータセットに基づいてトレーニングされ、最も一般的な医学画像検査である胸部X線（CXR）画像に焦点を当てています。このモデルは、単一モーダル事前学習、アライメント、微調整の3段階からなるモジュール式のトレーニング方法を採用し、効率的なアダプターメカニズムを利用して、非テキストモーダルをテキスト埋め込み空間に埋め込みます。LLaVA-RadはMed-PaLM Mなどの大規模モデルよりも規模が小さいにもかかわらず、性能は優れており、特にROUGE-LとF1-RadGraphなどの主要指標において、他の同種モデルと比較して12.1％と10.1％向上しています。
注目すべきは、LLaVA-Radが複数のデータセットで優れた性能を維持し、未知のデータテストでも安定した性能を示していることです。これは、モジュール式設計と効率的なデータ活用アーキテクチャによるものです。さらに、研究チームは、事実の正確性を自動的に評価するための指標であるCheXpromptも発表し、臨床応用における評価上の課題をさらに解決しました。
LLaVA-Radの発表は、基礎モデルの臨床環境への応用を促進する大きな一歩であり、放射線レポート作成のための軽量で効率的なソリューションを提供し、技術と臨床ニーズのさらなる融合を示しています。
プロジェクトアドレス：https://github.com/microsoft/LLaVA-Med
要点：
🌟 LLaVA-Radは、マイクロソフト研究チームが発表した小型マルチモーダルモデルで、放射線レポート作成に特化しています。
💻 このモデルは、697,435組の胸部X線画像とレポートでトレーニングされ、効率的で優れた性能を実現しています。
🔍 CheXpromptは、臨床応用における評価上の課題を解決するために発表された自動評価指標です。
