趋势预判14 | 2024年AI将迎来哪些趋势与挑战？【衔远周伯文】

本期课题 

回顾过去一年，生成式AI 迎来了井喷式发展，并深刻地渗透到了社会的许多方面。展望 2024 年， AI 还将迎来哪些新的趋势和挑战呢？

对此，衔远科技创始人，清华大学惠妍讲席教授、电子工程系长聘教授周伯文分享了他关于2024年AI趋势的预测和洞察。

本期嘉宾

衔远科技创始人，清华大学惠妍讲席教授、电子工程系长聘教授周伯文

未来的大模型对齐越来越重要

我觉得，会有几个趋势会继续延续，我认为也会有几个新的趋势，新的趋势不一定今年会变成主流，但这会是方向，延续的趋势就说是算力的紧缺，还有高质量数据的重要性，这个是会继续延续。特别是说我们需要去提升通用大模型的专业性的时候，这种高质量数据的紧缺性会非常非常的重要。然后多模态这块也会继续的去延续，像我们说的一样，这种跟人的互动，多模态都是一个非常重要的。我还是那个观点，帮大模型理解世界，自然语言是效率高得多的载体。但是去跟人的互动，硅基跟碳基融合需要多模态的生成，这方面会有更多的工作出来。但是我还有一个自己的预测是，我认为对齐会越来越重要，所谓对齐就是不是我们想象的那样说只是价值观的对齐，而是真正说把人的偏好、人的判断、人的专业性传递给大模型，就是我说的这个形成数据飞轮，这个技术的闭环会越来越重要。

我们衔远自己花很多时间在研究这个东西，就是我如何把专业性的营销，专业性的产品设计、创意、专业性的市场人员，这些东西迅速给到一个预训练的模型，他广闻博学，智商很高，但其实没有这些的经验，这些东西如何通过人迅速给到这个模型去对齐？这个我认为是非常非常重的研究的方向。

还有一个判断就是，怎么去完成人跟一个越来越强大的智能体的对齐，会是一个非常值得研究的方向。随着GPT-4 、GPT-5 往下发展，这些模型本身越来越强，去对齐这些模型需要的这个能力和算法和算力都会越来越多。

我上次在香港开会举的一个例子就是说，你会发现你去对齐一个两岁三岁的baby，你跟他对齐很容易，他也很容易听话，但到 teenager 的时候，他的智商阅历的进步之后，你要跟他对齐，很多事情要说服他，你需要花更多的时间和精力。你把他当青年那样去思考，就你要能对齐他，就说你自己要有深度的思考。所以这一块会是未来AGI 研究一个非常非常重要的一个方向。

我做一个大胆的预测，我为什么会提到未来的算力会越来越紧张？就是目前你训练一个GPT 4 也好， 3.5 也好， 90% 的算力用在预训练上， 10% 的算力用在对齐上，未来可能会大的逆转，预训练可能只占总体训练的一半或者更少，大部分的训练都在对齐上。就像你养一个 baby 一样，小的时候你花很多时间担心他吃什么、穿什么，但长大了之后你在他吃什么穿什么花的时间非常的少。但你在想说我怎么跟他对齐，怎么理解他，怎么去引导他的世界观，价值观，就要花更多的算力，父母大半天时间精力花在这个上。我只说这百分比哈，就绝对的训练的算力还会提升，就是你做训练的预算数据还要提升，但对齐需要的算力会更多，所以这样的GPU 还是会更紧缺。通用大模型后面越来越难，我不知道大家是不是有这个认知，后面会越来越难。

如何解决算力难

新小知：那我们该如何解决算力难的问题呢？

这个很难回答，这还有地缘政治在里面，我们就是没有办法放到全球角度去思考这个问题。当然我首先认为说是，从算力的使用架构上还有很多的优化空间，所以我们也许这些训练没必要用这么多的算力，但是是这样，算力是等于你的训练数据和训练的epoch，这两个都会加大你的算力需求，所以换句话讲，能不能找到别的更好的方式去降低这个算力的，这是二次方嘛。数据肯定要用得更多，所以这是一方面，从技术角度来讲可以降低这个一部分。但是从趋势上来讲，我觉得很难逆转。

一个智能体，你需要它强，就要足够多的算力去算它，那么强了之后你要跟他对齐，因为你不对齐没法用，这点我特别佩服OpenAI，因为OpenAI花了很多时间去做对齐。

就是为什么我们看到的模型可能不是他能力的初始版，它是对齐之后放出来给你看的，它对齐的过程中会把一些能力压下来，所以这个对齐是必须要做的。但是你要去做这个高质量的训练，你必须要花算力，那么对齐必须要花算力，就是我为什么预测算力一定需求一定会在那里，虽然英伟达、英特尔这芯片供应商都在做更多的算力芯片出来，但是这个供给侧在提升，这个需求端是爆炸式增长，所以我觉得还是回到我说的那句话，就是一方面当然算法上、技术上需要去提升。第二就是这个供求关系，放下地缘政治，大家全球来优化肯定会更好，你如果全球统一大市场，市场来决定肯定会更好。但现在是很多人认为加了障碍在里面，都在局部在优化，导致你全局不是最优化的情况。第三就是减少这个重复，减少me too。

再做me too 就是更大的浪费了。别人做出来一个超级智能，大家需要花更多算力去对齐它。然后你把50% 的算力买来，只能做一个智能也不如人家，也没法对齐的东西，那就是算力的巨大浪费。

本期观点总结

未来一年，通用大模型将进入深水区阶段，算力紧缺、高质量数据和多模态技术将是主要趋势。除此之外，对齐也会变得越来越重要。其中算力紧张的问题，除了进一步优化算力结构，还需要打破地缘政治的壁垒，减少重复性工作带来的巨大浪费。

互动

听完这节课，你觉得2024年AI发展的最大挑战是什么？欢迎大家留言告诉我。

我是能和你聊天、但不智障的机器人新小知。我们下期见。