Le modèle médical d'Alipay fait son apparition ! Lors d'examens en chinois et en anglais, ses performances ont surpassé celles de GPT-4, et il est déjà déployé dans les hôpitaux de première ligne des provinces du Jiangsu, du Zhejiang et de Shanghai.
Ce modèle médical, non seulement a dépassé GPT-4 lors d'examens médicaux en chinois et en anglais et de tests de référence, mais a également obtenu la première place du classement A et la deuxième place du classement B du promptCBLUE, un classement chinois des LLM médicaux. Plus surprenant encore, son taux de précision dans l'identification d'images de rapports, de médicaments et de cheveux a atteint plus de 90 %.
Sur le WAIC, Alipay a lancé, en collaboration avec 20 organismes dont les éditions de la santé du peuple, la faculté de médecine de l'université de Pékin et la commission de la santé du Zhejiang, un plan de coopération pour l'IA médicale.
Le modèle médical d'Alipay diffère des modèles d'autres domaines ; il impose des exigences plus élevées en termes de multimodalité, de sécurité et de professionnalisme. Basé sur le modèle Bailing, il possède des capacités multimodales natives de « voir, entendre, parler, dessiner », capables de comprendre et d'entraîner directement des données multimodales telles que l'audio, la vidéo, les images et le texte. À cela s'ajoutent des milliards de données textuelles et images en chinois et en anglais incluant des rapports, des images médicales, des médicaments, ainsi que des centaines de millions de documents médicaux et des dizaines de millions de connaissances médicales de haute qualité.
Actuellement, ce modèle médical multimodal peut non seulement fournir des réponses intelligentes, structurer et rechercher des dossiers médicaux, et assister au diagnostic, mais il peut aussi identifier des médicaments et des centaines de types de rapports médicaux, et effectuer des analyses de santé capillaire. Ces capacités peuvent être directement intégrées aux processus médicaux des hôpitaux et autres institutions, pour une application rapide.
Durant la phase de recherche et développement, Alipay a collaboré avec des centaines d'équipes médicales et d'experts pour l'annotation des données, garantissant ainsi l'autorité et la fiabilité des informations. Simultanément, en collaboration avec l'hôpital Renji de Shanghai, il a lancé le premier jeu de données chinois de raisonnement Q&A spécialisé en médecine, RJUA-QA. Lors des tests du modèle, des utilisateurs, des patients et des médecins ont participé à des sessions de questions-réponses, assurant ainsi l'utilité et la précision du modèle.
En matière de sécurité, Alipay a mis en place plusieurs mesures pour garantir la fiabilité technique et la sécurité des données privées. Ant Group possède une longue expérience dans le domaine de la sécurité, et a lancé pour l'industrie une solution « unité intégrée de confiance médicale + cloud de confiance », permettant une optimisation et une accélération de la formation et du déploiement, ainsi qu'une synergie entre les logiciels et matériels informatiques nationaux, résolvant ainsi le problème de la capacité de calcul insuffisante des hôpitaux ; le déploiement du raisonnement crypté sur les clouds publics et privés résout les problèmes de sécurité des données privées.
Sur la base de ce modèle, Alipay a également lancé des produits et des solutions sectorielles liés aux avatars numériques multimodaux et aux agents intelligents. En réalité, Alipay a commencé à déployer l'IA dans le domaine médical dès l'année dernière. En novembre dernier, la commission de la santé du Zhejiang a utilisé la solution « assistant médical IA » ouverte par Alipay pour créer « Anzhen'er », le premier agent de santé numérique du pays, offrant aux résidents du Zhejiang des services de téléconsultation et de conseils médicaux.
Plus tôt encore, en 2014, Alipay a traité la toute première prise de rendez-vous et le premier paiement de consultation à distance du pays. Après dix ans de développement, la plateforme a servi plus de 600 millions de personnes pour leurs soins médicaux, devenant ainsi la plus grande plateforme de services médicaux en ligne tiers et une plateforme de services médicaux intégrée en Chine. Plus de 3 600 hôpitaux dans plus de 300 villes en Chine proposent des services médicaux numériques intégrés via Alipay.
Le secteur médical, étant l'un des trois principaux domaines d'application d'Ant Group, est naturellement très surveillé. Les trois principaux domaines d'application du modèle d'Ant Group sont la médecine, la finance et la vie quotidienne, se matérialisant par des agents intelligents spécialisés : l'assistant médical IA, l'assistant financier IA et l'assistant intelligent Alipay.
Au WAIC, l'assistant intelligent Alipay a fait sa première apparition et a été sélectionné comme l'un des trésors de la conférence cette année. Il peut être activé en faisant défiler la page d'accueil d'Alipay, et permet de gérer ses affaires, de consulter un médecin, de prendre un taxi, etc., par le biais de conversations, et d'accéder à des milliers de mini-programmes. Par exemple, pour commander un café latte glacé moyen chez Starbucks, il suffit de donner l'instruction, et l'IA passera automatiquement la commande ; l'utilisateur confirmera et paiera, puis pourra récupérer son café dans un magasin proche.
Le président-directeur général d'Ant Group, Jing Xian Dong, a déclaré que les agents intelligents spécialisés sont une voie efficace pour déployer les grands modèles dans des secteurs exigeants. La technologie et la plateforme de prise de décision cognitive intelligente sont les technologies clés qui soutiennent les trois agents intelligents, et ont également remporté un prix important lors de cette conférence, le « prix de l'excellence en intelligence artificielle (SAIL) TOP30 ». Cette technologie, développée conjointement par Ant Group et l'université de Zhejiang pendant sept ans, a considérablement amélioré les capacités professionnelles, la précision et la capacité d'apprentissage automatique de l'intelligence artificielle au service des secteurs exigeants, rendant les décisions de l'IA et des grands modèles plus intelligentes et plus fiables.
À ce jour, la technologie du projet est largement utilisée dans les secteurs de la santé publique, de la finance et de l'administration publique, au service de plus de 2 600 hôpitaux et institutions, dont l'hôpital Renji de Shanghai, le premier hôpital de Shanghai et la commission de la santé du Zhejiang, ainsi que de dizaines d'institutions financières telles que China Pacific Insurance (CPIC) et la banque de Shanghai. Le projet a également obtenu plus de 100 brevets d'invention, et certains résultats ont remporté plusieurs prix, dont le premier prix du progrès scientifique et technologique de la China Electronics Society en 2022 et le premier prix du progrès scientifique et technologique en intelligence artificielle Wu Wenjun en 2023.
Le modèle médical d'Alipay montre non seulement le vaste potentiel d'application de l'IA dans le domaine médical, mais aussi ses puissantes capacités en termes d'amélioration de l'efficacité médicale et de sécurité des données. À l'avenir, avec le progrès continu de la technologie et l'approfondissement de son application, les grands modèles médicaux basés sur l'IA devraient offrir à davantage de personnes une expérience de soins médicaux plus pratique et plus intelligente.