MOSS负责人：短期暂停训练更强AI模型没实质意义，关键要对齐人类价值观

想和ChatGPT一较高下吗？请看这道填空题——

长颈鹿的声带很特殊，其声带中有一个浅沟，发声的时候就比较困难，而且要肺部、胸腔以及膈肌的共同帮助下它才可以发声，但是由于其脖子很长的缘故，这些器官相隔就挺远的，所以它也就没有办法_____

此处要准确地预测出“咳嗽”，需要对前面语句的语义和逻辑关系进行捕捉。这对于人类而言，也非易事。

ChatGPT狂飙背后的关键技术是什么？我国首个类ChatGPT模型MOSS怎么样了？4月1日晚，复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏，在复旦大学管理学院主办的“复旦科创先锋论坛”发表演讲。

【大型语言模型具备“涌现能力”】

2022年11月30日，OpenAI发布了ChatGPT。仅仅两个月，其月活跃用户已达1亿，是史上用户增速最快的消费应用。微软联合创始人比尔·盖茨认为，像ChatGPT这样的AI聊天机器人将与个人电脑或互联网同样重要。

“很多人可能会说，ChatGPT在技术上并没有太多创新，因为它背后的技术都是已有的，但对于它到底怎么做出来的其实并不清楚。ChatGPT目前尚未开源，其参数规模和技术细节都没有对外公布，因此有人调侃它是‘CloseAI’。”邱锡鹏介绍

“在自然界，当物质的数量达到一定程度，会表现出不一样的性质。大型语言模型也具备这种‘涌现能力’。”邱锡鹏说，这里有一个“信息压缩”的概念，当大型语言模型被训练用较少的参数记住大量的数据，这就迫使它去发现文字背后蕴藏的规律，以更好地理解人类语言和世界知识。当模型规模大到一定阶段，大概在100亿参数规模以上，它的能力就会发生一个突变。

在涌现能力的背后，隐含着三个非常重要的技术。第一是情景学习，大型语言模型可以直接和人交互，这从产品角度来说也是一个很大的创新。有了情景学习，还可以大幅降低下游开发成本。第二是思维链，不仅给出答案，也给出逻辑推导。第三是自然指令学习，要让机器明白我们的情感和真实意图，以前是从大数据中学，现在可以直接从指令中学。

【MOSS和ChatGPT有何异同】

“MOSS系统将在4月中旬开源发布。”邱锡鹏透露。今年2月，复旦大学自然语言处理实验室发布国内首个类ChatGPT模型MOSS。至今，他被问得最多的问题就是——MOSS什么时候开源给大家用，以及是否会商业化。

邱锡鹏说，我们之所以很容易有“卡脖子”问题，因为缺乏一个好的行业生态。就拿ChatGPT来说，OpenAI公司只需专注做好模型，算力、数据和系统则交给其他公司。反观国内，很多公司在做大型语言模型时所有环节都需要自己做，每家的数据和算力也有限，结果是每家都做不大。“我们考虑把MOSS开源而不是商业化，就是希望改善这种生态，有了这样一个基座，大家就不用重复开发底层技术，可以在上面接不同的细分领域。”

MOSS和ChatGPT有何异同？据介绍，MOSS模型有200亿参数，这意味着它也具有思维链、情景学习等涌现能力，能够执行人类的指令。这一参数大概是ChatGPT规模的十分之一，因此MOSS的预训练成本会低很多。

MOSS也可以直接与人类对话，根据人类反馈进行迭代优化，并与人类的价值观、思维方式对齐。“MOSS和ChatGPT具有相近的通用语义理解能力，每句话都能理解，但完成度还不高。”邱锡鹏说，相比ChatGPT的千亿参数模型，MOSS在思辨推理和事实类知识方面有一定差距，这主要是由于参数规模不同造成的，可以通过扩大模型规模来实现。“我们一直在改进它，相信下一代版本会更强大。”

【关键要让机器对齐人类价值观，否则很危险】

最近，马斯克等人呼吁立即暂停训练比GPT-4更强大的 AI 模型，为期至少6个月。对此，邱锡鹏认为，暂停6个月没有什么实质意义，也很难停下来。

人工智能之父图灵最早提出人工智能概念时，就有过“机器的迭代会快于我们”的类似描述。“对此我还是比较乐观的，到目前为止，人工智能还限于工具层面，是可控的。后面进一步发展AI时，关键要让机器对齐人类的价值观，否则很危险。”

在邱锡鹏看来，大型语言模型不仅将加速通用人工智能的实现，还将引爆数字经济，为社会治理、生物医药、智慧金融、医疗健康和智能教育等提供新动能，并催生海量的商业新模式。“科幻电影里的人工智能可能很快就会实现，不管其以真实形态还是以数字人形态，将会参与到我们的生活中来。”

至于ChatGPT是否会替代人，邱锡鹏认为ChatGPT类似于通才，但距离细分领域的专业化还是有差距。“未来，人工智能会替代一部分工作，但永远不会替代能够利用人工智能的人，人的思考和判断会变得更重要。”

【GPT-5什么时候会出来】

“复旦科创先锋论坛”结束后，邱锡鹏接受了解放日报·上观新闻记者的专访。

解放日报·上观新闻：

邱锡鹏：

解放日报·上观新闻：

邱锡鹏：

解放日报·上观新闻：

邱锡鹏：

解放日报·上观新闻：

邱锡鹏：

解放日报·上观新闻：

邱锡鹏：

解放日报·上观新闻：