支付宝发布多模态医疗大模型 支持千亿级视觉识别

　　【845.net.cn消息】在2024世界人工智能大会“可信大模型论坛”上，支付宝多模态医疗大模型正式亮相，成为国内首批多模态医疗大模型之一。

　　据小编了解，支付宝医疗大模型的基座模型为蚂蚁百灵大模型。据蚂蚁集团大模型应用部总经理顾进杰介绍，蚂蚁百灵大模型已具备能“看”会“听”、能“说”会“画”的原生多模态能力，可以直接理解并训练音频、视频、图、文等多模态数据。

　　在这个基础上，支付宝医疗大模型添加了包含报告、影像、药品等百亿级中英文图文、千亿级医疗文本语料及千万级高质量医疗知识图谱，中英文医疗考试、基准测试达到或超过GPT4水准。

　　顾进杰补充说，全栈自研医疗多模态结构，使得模型识别报告、药品、毛发等图像准确率达90%以上，相关技术在行业顶尖技术期刊与会议 CVPR、KDD、ECCV等发表了多项成果。

　　目前，该多模态医疗大模型不仅提供智能问答、病历结构化和检索、辅助诊断，还可识别解读药品及上百种复杂的医学报告，进行毛发健康检测等，这些都能嵌入医院等机构医疗环节全流程。

　　据了解，2014年支付宝支持全国第一笔远程挂号缴费，经过十年发展，平台已服务超6亿看病就医人群。目前，全国300多个城市、超3600家医院在支付宝上提供一站式数字医疗服务。