超过谷歌 阿里达摩院AI预训练模型M6参数破10万亿

11月8日，贝壳财经记者从阿里巴巴达摩院获悉，其多模态大模型M6最新参数已从万亿跃迁至10万亿，规模超过了谷歌、微软此前发布的万亿级模型，成为全球最大的AI预训练模型。

贝壳财经记者观察到，2021年以来，AI训练模型的规模不断扩大。据不完全统计，这些大模型包括年初华为发布的1000亿参数盘古大模型、1.6万亿参数的Google switch transformer模型、1.75万亿参数的智源悟道2.0智能模型、1.9万亿参数的快手精排模型等。其中，阿里达摩院M6模型上一次公布的参数规模为1万亿。

据了解，与传统AI相比，大模型拥有成百上千倍“神经元”数量，且预先学习过海量知识，表现出像人类一样“举一反三”的学习能力。因此，大模型被普遍认为是未来的“基础模型”，将成下一代AI基础设施。

“近年来人工智能的发展应该从家家户户‘大炼模型’的状态逐渐变为把资源汇聚起来，训练超大规模模型的阶段，通过设计先进的算法，整合尽可能多的数据，汇聚大量算力，集约化地训练大模型，供大量企业使用，这是必然趋势。”北京大学信息科学技术学院教授黄铁军此前告诉贝壳财经记者。

需要注意的是，训练大模型的算力成本相当高昂，如训练1750亿参数语言大模型GPT-3所需能耗，相当于汽车行驶地月往返距离。对此，达摩院表示，M6使用512 GPU在10天内即训练出具有可用水平的10万亿模型，相比去年发布的大模型GPT-3，M6实现同等参数规模，能耗减至其1%，达摩院透露，实现能耗减少的技术原理包括通过更细粒度的CPU offload、共享-解除算法等。

据了解，M6是达摩院研发的通用性人工智能大模型。目前，达摩院联合阿里云推出了M6服务化平台，为大模型训练及应用提供完备工具，算法人员及普通用户均可使用平台。

达摩院智能计算实验室负责人周靖人表示，“接下来，我们将深入研究大脑认知机理，致力于将M6的认知力提升至接近人类的水平，比如，通过模拟人类跨模态的知识抽取和理解方式，构建通用的人工智能算法底层框架；另一方面，不断增强M6在不同场景中的创造力，产生出色的应用价值。”