Der umfangreiche multimodale Datensatz „MedTrinity-25M“ des UCSC-VLAA-Teams wurde offiziell veröffentlicht. Dieser Datensatz umfasst 25 Millionen medizinische Bilder mit detaillierten Anmerkungen. Im medizinischen Bereich stellt dies eine bedeutende Innovation dar. Die detaillierten, mehrstufigen Anmerkungen helfen Forschern, medizinische Daten besser zu verstehen und anzuwenden, insbesondere beim Training großer multimodaler medizinischer Modelle.
Die Erstellung von MedTrinity-25M war ein komplexer Prozess. Das Team führte eine sorgfältige Datenaufbereitung durch, extrahierte wichtige Informationen aus verschiedenen Datenquellen, integrierte Metadaten, generierte grobe Überschriften, lokalisierte interessante Bereiche und sammelte relevantes medizinisches Wissen. Besonders interessant ist die Verwendung von großen Sprachmodellen (MLLM) zur Erstellung detaillierter Beschreibungen. Diese Methode verbessert nicht nur die Datenverfügbarkeit, sondern eröffnet auch neue Wege in der medizinischen Forschung.
Zur Veröffentlichung: Ein Demo-Datensatz von MedTrinity-25M wurde bereits im Juni 2024 online gestellt. Der vollständige Datensatz wurde am 21. Juli 2024 veröffentlicht, und am 7. August 2024 erschien die zugehörige Forschungsarbeit.
Neben dem Datensatz selbst stellt das Team auch eine Reihe vortrainierter Modelle bereit, wie z. B. LLaVA-Med++. Diese Modelle zeigen hervorragende Leistungen in verschiedenen medizinischen Aufgaben. Forscher können diese Werkzeuge nutzen, um ihre Projekte effizienter zu gestalten und die medizinische Forschung deutlich zu beschleunigen.
MedTrinity-25M bietet der medizinischen Forschung eine wertvolle Ressource. Wir hoffen, dass dieser Datensatz umfassend genutzt wird, um die medizinische Forschung voranzutreiben.
Projektseite: https://top.aibase.com/tool/medtrinity-25m