支付宝的医疗大模型亮相了!在中英文考试中，它的表现超越了GPT-4，已经在江浙沪一线医院落地。
这款医疗大模型不仅在中英文医疗考试、基准测试中超过了GPT-4的水平，还在中文医疗LLM评测榜单promptCBLUE中取得了A榜第一、B榜第二的好成绩。更令人惊讶的是，它在识别报告、药品、毛发等图像方面的准确率达到了90%以上。
在WAIC现场，支付宝联合人民卫生出版社、北京大学医学部、浙江省卫生健康委等20家机构，共同发起了AI医疗共建计划。
支付宝的医疗大模型与其他领域的大模型不同，它在多模态、安全性和专业性方面提出了更高的要求。它基于百灵大模型，具备看、听、说、画的原生多模态能力，能够直接理解并训练音频、视频、图、文等多模态数据。在此基础上，模型还添加了包含报告、影像、药品等百亿级中英文图文、千亿级医疗文本语料及千万级高质量医疗知识图谱。
目前，这款多模态医疗大模型不仅能提供智能问答、病历结构化和检索、辅助诊断，还能识别药品以及上百种医学报告，进行毛发健康检测等。这些能力可以直接嵌入医院等机构的医疗环节，快速应用。
在研发阶段，支付宝与数百个专业医学团队和专家合作标注数据，保障信息的权威性和可信度。同时，联合上海仁济医院推出了首个中文医疗专科问答推理数据集RJUA-QA。在模型测试阶段，用户、患者、医生参与问答反馈，确保模型的实用性和准确性。
在安全性方面，支付宝采取了多项措施保障技术可靠和数据隐私安全。蚂蚁本身在安全领域有多年的深耕，此次更是面向行业推出了“医疗可信一体机+可信云”的解决方案，实现训推一体和国产算力软硬件协同优化加速，解决医院算力不足的问题;通过公有云和私有云部署密态推理，解决数据隐私安全方面的问题。
在这款大模型的基础上，支付宝还发布了全模态数字人、智能体相关产品以及行业解决方案。实际上，支付宝早在去年就已经开始了AI在医疗场景方面的布局。去年11月，浙江卫健委应用支付宝开放的“AI就医助理”解决方案，打造了全国首个数字健康人“安诊儿”，为浙江居民提供云陪诊、健康咨询等服务。
更早之前，支付宝在2014年就支持了全国第一笔远程挂号缴费。经过十年的发展，平台已服务超6亿看病就医人群，成为国内规模最大的医保第三方在线服务平台和一站式的医疗健康服务平台。全国300多个城市、超3600家医院在支付宝上提供一站式数字医疗服务。
医疗作为蚂蚁落地三大核心应用领域之一，自然备受关注。蚂蚁大模型落地的三大领域是医疗、金融和生活，表现形态为专业智能体:AI就医助理、AI金融助理和支付宝智能助理。
在WAIC上，支付宝智能助理首次亮相，并入选今年的镇馆之宝。在支付宝首页往下拉就能唤醒它，通过对话完成办事、问诊、打车等服务，随时调用上千个小程序。例如，想点一杯星巴克的中杯冰拿铁，只需下达指令，AI便会自动下单，用户确认并付款后就能到附近的线下门店取到咖啡。
蚂蚁集团董事长兼CEO井贤栋表示，专业智能体是大模型落地严谨产业的有效路径。智能认知决策技术与平台是支撑三大智能体的关键技术，也获得了本次大会的重要奖项“卓越人工智能奖（SAIL）TOP30”。这项技术由蚂蚁集团和浙江大学历时七年联合攻关，大幅提升了人工智能服务严谨产业的专业能力、准确性和自我学习能力，让AI和大模型的决策更聪明、更可靠。
截至目前，项目技术已广泛应用于医疗民生、金融、政务等行业，服务了上海仁济医院、上海市一医院、浙江省卫健委等2600余家医院和机构，人保健康、浦发银行等数十家金融机构，推动了人工智能的规模化落地。该项目还获授权发明专利100余项，部分成果获得了2022年中国电子学会科技进步一等奖、2023年吴文俊人工智能科技进步一等奖等多个奖项。
支付宝的医疗大模型不仅让人们看到了AI在医疗领域的广泛应用前景，也展示了其在提升医疗效率、保障数据安全方面的强大能力。未来，随着技术的不断进步和应用的深入，AI医疗大模型有望为更多人带来更便捷、更智能的医疗服务体验。