AI的真相02 | 为什么ChatGPT的学习⽅式更接近⺟语？【猎豹移动傅盛】

本期课题 

ChatGPT是母语的学习方式，而不是外语学习方式？

本期嘉宾

猎豹移动董事长傅盛

外语学习和母语学习方式

傅盛：语义理解分成了两条路，绝大部分都会选择第一条路，大厂最早比如百度做搜索、Google做搜索，搜索量没那么大，对吧？

第一条路就是我们学外语的方式，语言学家弄好主谓宾这些词，中国首都北京，中国首都这个词，北京这个词，然后知识图谱，北京下面有哪几个城市，地理上哪几个城市，物理上虚拟化，什么就叫知识图谱，先让它去理解再去教它这样做。这样做的好处就是一开始在问题量不是特别大的时候，很多问题以回答，这种问题可以还不错地回答，比如我们经常去淘宝客服，因为你的意图比较明显，就是来退订单的，只要有退订单三个字，哪怕其他我都不理解，有的叫关键词加强，就是这个词只要一出现，就出现退订单。所以用各种策略就能够满足一部分应用了，这就是第一条路，叫做教你学外语，就背几个单词。

第二个，其实OpenAI觉得这条路走不通，它觉得应该让神经网络去学习文本之间的关系词，不要教它中国首都什么意思，它自己去把这些规律找出来。这个其实就像我们学母语，一个小孩在你旁边，你天天说话，也不是单独跟他说话，但到了三岁他就会开口了，因为他听了足够多词以后建立了连接。

而外语学习模型导致了机器学不会，然后会发现不叫答非所问，有的时候连回答都不符合，只会出一堆的乱码。只有OpenAI觉得这条路是可以走得通的，虽然它前几个版本并不成功。

OpenAI为什么能成功

新小知：所以你认为OpenAI为什么会选择用母语的学习方式训练大模型？

傅盛：我还专门去问了ChatGPT，我说为什么你们在二点几的时候大家都觉得你们搞不出来，你还在搞？他说其实很重要一点是他们发现了有一些地方已经有了不错的信号，他们肯定也是大量测试、更深入去看的。

只有OpenAI觉得这条路可以试，但每次试的成本很高，1000多万美金训练一次，训练完以后效果不一定比上次好，又得重新调整，再弄一个按钮，我经常做的一个按钮就1,000万美金，过两个月看一下效果不好就再来一次，再花一千万美金，大厂哪个部门经理能经受得起这样烧预算，烧完以后还不如前一种，前面已经有了，就是这个知识图谱什么都能回答，你这边2,000万美金投进去，效果一对比不如原来的就被fire了。这个就是一把手工程，除非一把手说必须这么干，你就是给我死也死在这。

而且还有一点是用 Transformer模型训练出这个东西，在数学上或者在理论上没有证明这个东西加足够多它就能出这种能力，因为没有这种证明，所以大家觉得你在胡搞，是痴人说梦，它没有理论支撑，如果有个理论支撑说只要这么多就能出这个结果，总共需要花10亿美金，如果这个理论已经被学术界证明了，我估计大公司也就干了，没有这个理论支撑，所以才叫本质上就是概率，猜下个词，就不知道为什么概率猜下个词。猜出的这段文本和你的逻辑理解是一样的，符合人类的语言习惯，没有任何错误，就是一本正经的胡说八道，胡说八道看起来都是好符合逻辑。

但我们学外语是因为我们已经有了一套母语，所以你就知道，背几千个单词，基本就可以上街交流。所以还得在语言环境当中去。

本期观点总结

语言学习可以分为母语学习方式和外语学习方式，而OpenAI之所以能成功就是因为他们选择了母语的理解方式训练ChatGPT，让大模型自己去寻找文本之间的关系，总结规律。

互动

你有没有发现chatGPT的哪些表现证明了傅盛的观点呢？欢迎大家留言告诉我。
我是能和你聊天、但不智障的机器人新小知。我们下期见。