AI的真相14 | 如何解决大模型“芯片难”的问题？【硅基流动袁进辉】

本期课题 

经过一年的探索和发展，大模型技术在全球快速迭代，进入到了新的瓶颈期。当前主要是哪些因素限制了大模型的发展？未来我们如何才能打破限制，获得新的增长与进步？

对此，硅基流动的创始人袁进辉分享了他对当前AI大模型发展困境的思考。

本期嘉宾

硅基流动的创始人袁进辉

大模型普及的关键障碍：成本

成本是制约现在这个大模型普及无处不在的一个比较关键的问题。一方面有它大模型能力本身的问题，比如说所谓的幻觉问题，这个大家也在往前推进解决它，另外一个很重要的就是成本问题。这东西现在的计算，虽然说100万token两美金、一美金，听上去不多，但是你架不住用的多呀。打个比方，比如说十年前手机刚出现的时候，那时候我们都是下载个图片都非常小心翼翼的，一个月有个几十兆的流量什么的。如果说一直是那样的一个约束的话，那移动互联网是不可能出现的。

就是像视频这些东西都不可能出现，你看那个带宽啊、流量啊，降了几十个或者几十个数量级或者什么，后面今天其实没人关心流量了，这应用才是无处不在的，那大模型这个也一样，那这个成本他其实是有很多角度去解决，或者说一定程度上解决这个问题，但今天来看主要还发生在云上，因为现在它的计算量还是比较大，那个算力要求比较高。所以这是英伟达的获利的这个原因之一。

制约这个发展有一个效果问题，一个成本问题。实际上效果问题一旦得到解决，成本问题是迟早会得到解决的，它有很多种办法，有的是就从算法角度做的，我就发明了一个计算量更小的算法，有的是从芯片角度就是我弄出来一个更快的芯片。还有一大块，就是这种软件的角度出发。就是这个计算的问题，这个大模型推理的问题，它是一个刚出现一年的问题，就是去年ChatGPT火爆之后这个问题才出来的。但是今天在市面上卖的这些芯片都是ChatGPT出来之前设计的，至少今天能见到的芯片，无论是英伟达成了什么芯片，都是为ChatGPT推理需求暴露之前的需求设计的，比如说那时候是训练什么的，它就是一个用专业术语就是一个计算密集的一个东西。

控制成本的有效方法：做好软件

但是推理和之前的还是蛮不一样的，比如说芯片的约束下，怎么还把这事做好？就是它是为过去任务设计的芯片，但是还要把这事情做好，在一段时间内只能通过这个infrastructure软件，就是通过软件层次的，比如说这些编译优化、调度，把这个任务翻译成今天过时芯片特别擅长做的事儿，核心就是中间这一套软件。

但是今天其实有人也在做，针对大模型推理这种需求去做新的芯片架构，可能一年之后可能或者什么就会出现，即使那个出现，它还是各有各的用途，至少一半儿的问题还在这一块儿解决，核心就是通过infrastructure软件的这块的创新，这个技术的迭代解决这个，比如说芯片跑不满什么的。虽然它上面堆积了很多计算的单元，我这个模型在上面跑的时候就是没办法把它用满，我只能用它中间一小块，这就是今天的矛盾所在。但是你通过软件做的得当的话，它可以让这个芯片上集成的那些计算单元大部分都发挥出来。

因为那个芯片没出来，或者下一代芯片没出来，使得比如说引擎这东西它占据了主要的作用，就是说你要降成本主要靠这个。但是即使有下一代芯片出来，也不是说把它的作用全给搞走了，其实现在可以推演的，就是即使出现新的芯片，也不会是现在芯片的这种数量级的提升。因为今天比如说你用这个英伟达的芯片，它已经把这种Transformer什么这些都弄进去了，本身你至多你再做个新的芯片，把Transformer不需要的东西砍掉。

其实搞芯片的人我也跟他们交流过，其实你做的再理想也就是不到十倍、不到几倍这样，而且芯片它有物理的极限，制成啊，工艺啊，集成度啊什么的，很多很多。最主要的想象力还是在芯片之外，就是把这个成本要降，比如说1万倍，可能1, 000倍都是芯片之外搞到的。这里头有好多东西都不是在芯片内部搞定的。有的是非常有效，但是非常简单。

举例子就是一个潮汐现象，比如说我有一个集群，我服务中国客户，白天调用量就很大，我一定要把中国的客户服务好的话，我这个规模就得是多大，但是晚上没人用了。那这个就是一个这浪费，至少50%的浪费，现在已经有人这么做了，就是他晚上服务海外客户啊。就是有些语音游戏的公司，有的就是这样潮汐的混用，那这一混用一下子就一半效率就出来了。那一半的钱就省了。那你说这个甚至它都不是一个技术方案。

这样的东西非常多，都在芯片之外，但是它要形成一个综合的体系，就是说你要节省成本，是从芯片、什么编译器、什么分布式系统，到集群，到算法，到应用，其实每个层次都有这个很多空间或者油水可挤，甚至上面的东西一点不比下面这个空间小，好多上面的几乎都是这个software就搞定的。

但现在国内也有华为的选项，其实无论是训练芯片还是推理芯片也有另外一条路径，也不一定是英伟达那种做法，就是说我要把这个单颗芯片的集成度做到极致。也不一定是这样的，未来就是从性价比角度来说。也许是我根本不需要什么5纳米、3纳米的，我就12纳米或者什么的，但是我可以通过量，有的时候我们经常这种制造，就是说你真的追求那个极致，它的性价比就急剧下降。但是我追求一个可用就行，它是反而是性价比是最合适的。其他领域其实这种事情发生很多了。像买一辆车或者什么的，它有的时候你说基本功能都满足了，但是你非得追求一个什么什么东西，它一下子涨了好几倍的价格，那国内也有可能有这种新的路子出来。

本期观点总结

成本是限制当前大模型发展普及的最主要原因。在当前芯片受限的情况下，除了软件侧的创新，也可以通过潮汐混用等芯片之外的方法，去解决当前的困境，从而达到节省成本的目的。

互动

听完这节课，你觉得大模型普及面临的最大挑战是什么？欢迎大家留言告诉我。

我是能和你聊天、但不智障的机器人新小知。我们下期见。