会写词能作曲 “紫东太初”大模型2.0版发布

【资料图】

科技日报记者 吴纯新 通讯员 汤伟

6月16日，中国科学院自动化研究所（以下简称自动化所）联合武汉人工智能研究院正式发布“紫东太初”全模态大模型。

“紫东太初”全模态大模型是在千亿参数多模态大模型“紫东太初”1.0基础上升级的2.0版本，在语音、图像和文本三模态基础上，加入视频、传感信号、3D点云等模态数据，研究突破了认知增强的多模态关联等关键技术，具备全模态理解能力、生成能力和关联能力。

现场，大模型在音乐理解与生成、三维场景导航、信号理解、多模态对话等方面的全新功能，首次对外实时展示，观众与大模型即时互动。

“紫东太初”全模态大模型不仅可以通过《月光曲》畅谈贝多芬的故事，也可在三维场景里实现精准定位，还能通过图像与声音的结合完成场景分析。

人类认知世界时，同时涉及语音、图像、文字等信息。机器要实现更高水平智能，就需要像人一样，发展贯通图、文、音等更多模态的大模型。2019年起，自动化所即坚持以“图-音-文”多模态技术为核心，确立多模态大模型布局，整合所内图像、文本、语音等研究方向的优势资源开展集团式攻关，2021年9月成功打造“紫东太初”1.0多模态大模型。

迈入数字经济时代，数据范畴不断拓宽，不仅包含人类自身产生的语音、图像、文字等数据，还有机器产生的大量结构和非结构化数据。针对新需求与新趋势，“紫东太初”2.0从技术架构上实现了结构化和非结构化数据的全模态开放式接入，突破了能对信息进行充分理解和灵活生成的多模态分组认知编解码技术，能融合多个任务的认知增强多模态关联技术等，大模型多模态认知能力大幅提升。

据介绍，“紫东太初”2.0以自动化所自研算法为核心，以国产化基础软硬件平台昇腾AI为基础，依托武汉人工智能计算中心算力支持，着力打造全栈国产化通用人工智能底座。一直以来，强大算力支撑是约束我国人工智能发展的瓶颈之一，以“紫东太初”大模型为代表开展的创新实践将有力推动国产基础软硬件与大模型技术适配，协同构建我国通用人工智能自主可控发展生态。

目前，“紫东太初”大模型已展现出广阔产业应用前景，在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域开展一系列引领性、示范性应用。

标签：