3月24日 黄仁勋对谈OpenAI首席科学家，关键是这三点

【王煜全 要闻评论】粉丝群已经开通


欢迎加入前哨粉丝群，在这里你可以和科技投资人、创业者、各行业专业人士互动沟通，分享心得体会，也可以第一时间了解到前哨相关活动动态，结交志同道合的小伙伴。


入群方式：
微信扫码下方二维码即可入群

如果您想洽谈合作，请添加创新地图的微信：innovationmap ，并附上简介。

你好，我是王煜全，这里是王煜全要闻评论。

3月23日凌晨，就在英伟达GTC发布会后，老黄与OpenAI联合创始人、首席科学家伊尔亚·苏茨克维（Ilya Sutskeve）的访谈视频也发布了出来。

伊尔亚可能很多人都不太了解，他的老师正是掀起了上一轮AI变革的Geoffrey Hinton，伊尔亚自己也是一路引领AI变革的研究者之一。

他是第一代卷积神经网络AlexNet的发明人之一；2013年12月，随着Hinton的研究公司DNNResearch被谷歌收购，伊尔亚也成为了谷歌的人工智能研究员，参与了Alpha Go的研发，见证了AI的第一轮爆发。

2015年，他离开谷歌参与创办了OpenAI，并将他对AI大模型和语义理解上的洞见付诸实践，最终成就了今天的GPT系列人工智能。

作为今天AI技术领域的领军人物，老黄与伊尔亚的访谈，不但让我们能以亲历者的视角，描绘出这轮变革的一个侧面，也能让我们看到一些AI技术前沿的新趋势。

今天我就和大家分享从这段访谈中看到的三个关键点，一起看看AI变革都经历了什么，未来有啥值得我们关注的。

第一点，科学范式与原理的变革充满了灵光一闪和不确定，很难预测，只有站在技术前沿才能把握未来趋势。

这段访谈总共55分钟，我注意到伊尔亚经常提到「直觉」两个字，从投身神经网络研发，把卷积神经网络用到图像识别领域，以及GPT系列把参数规模作为突破口，他在AI技术每个关键节点的选择，依赖的都是个人直觉。

这种直觉背后肯定有他常年研究积累下的「隐性知识」，比如谈及为什么相信「AI模型大就是好」，他提到自己早年在图像神经网络上就观察到，「更深更大」的神经网络表现就是会好一些，他当时并不明白原因是什么，但事实让他逐渐形成了这个信念。

这就是科技特训营常说科学原理和范式突破总是阶梯式发展的原因，每次大的突破背后总有某个研究者、科学家的灵光一闪，突破何时发生很难事前预料。

好在推动社会的核心力量是能让科学成果普及化的技术，上游科学的突破很难被提前掌握，下游技术应用的趋势却是我们能够看到的，无论是最早AlexNet在图像识别上的成就，还是AlphaGo在围棋上战胜人类，抑或是ChatGPT上一代GPT-3的更优表现，这些都是能被观察到的，它们背后的技术组合也是能被看到的，由此我们也就可以提前掌握技术发展的脉络。

第二点，AI大模型这一轮变革，表面看起来是参数、规模涌现的结果，其实根源上还是「数据工程」。

聊起这轮AI大模型为什么会有如此好的表现，不懂行的人会告诉你这是AGI，通用人工智能出现了，了解一些的人会说这是模型参数规模增加后「涌现」的结果。

伊尔亚和老黄的对谈中，简单解释了卷积神经网络、GPU并行计算、小型循环神经网、情感神经元以及无监督学习等技术组合在一起的作用。

他在访谈中还提到一个很关键的地方，所有的方法最后都是为了让AI找到数据中隐藏的关联，以上所有的技术组合到一起，为的正是让AI能在看到「你吃饭了没？」这段话时，一个字接一个字的预测出接下来正确的回答是「吃了」或者「没吃」。

伊尔亚在接受麻省理工学院计算机科学家lex fridman采访时更详细的解释了这部分内容，当时他们聊到AI能从人类数据中，找到很多我们自己都没有意识到的规律存在，但是如果数据不够多，AI很容易就会出现过拟合，把一些不是规律的关联当作线索，所以当时出现了很多为解决这个问题的工程优化方法。

直到Transformer模型出现，他们看到了让AI稳定预测下一个字的技术，也借此开启了超大数据集与超大模型匹配的训练之路，而随着GPT-4的预测精度更高，它不但交流水平有提升，在数学这个极度需要逻辑推理的领域，也有明显进步。

了解完这段开发过程还是不禁让我感慨，一方面是AI大模型的开发，看起来像科研，其实更像是一个「数据工程」，本质上是使用非常多的算法组合到一起，结合上正确的「训练」方法，让AI找到人类数据中一直未被大家找到的经验逻辑。就是我们一直强调的，科研成果出现后要经历漫长的性能调优过程。

另一方面，或许人类的智能并没有想象中的复杂，认知科学领域一直有人脑是不是台「预测机器」的争论，今天人工智能领域的进展让我们看到，至少在语义方面，预测下一个字更精确，就能得到更接近人类的语言能力，甚至是逻辑推理能力，随着理解图片的多模态能力集成上来，未来的表现更加难以预料了。

最后一点，下一轮AI的大变革，将如何发生？

访谈最后老黄提出了一个关于未来的问题，今天OpenAI在训练大模型时虽然主要还是依赖人类数据，但已经开始用大模型来相互训练，未来会不会像Alpha Zero一样，只靠AI自己相互训练就能得出一个更强的超级人工智能呢？

伊尔亚的回答比较谨慎，他认为AI自我训练的可能性还有待观察，但他认为AI未来必然会表现更好，影响更大。

一个很重要的原因是：在他看来虽然今天有不少技术上的进步，但20多年来人工神经网络的架构并没有太大的变化，训练的基础算法还是一样的，只是今天变得更大、数据更多。

这些细微的调整就能取得这样惊人的效果，未来也许只需要一些学习算法上的改进，训练方法的优化，就能见到更大的突破出现。

你看了老黄和伊尔亚的对谈吗？你从中有哪些收获呢？也欢迎你留言分享，我们一起看看AI还有哪些趋势正在形成中。

以上是今天的内容，更多详细的产业分析和底层逻辑，我会在科技特训营里分享。欢迎关注全球⻛口微信号，报名加入!

王煜全要闻评论，我们下周见!