AI的真相03 | 大模型竟然是隐形的“电费刺客”？【新华三徐润安】

本期课题 

OpenAI 运转一次的耗电量相当于 30 万中国普通居民的用电量，大模型竟然是隐形的“电费刺客”？

本期嘉宾

新华三集团副总裁徐润安

大模型为什么耗电高

徐润安：CPU 这个从字面的解释叫 centric Processor unit，叫中央处理器。原来在算力并没有这么强的需求的时候，其实这个中央处理器处理 i o 就是 in and out，对数据流入，数据流出，它在这个处理的过程当中就有运算挖掘，那用一个 CPU 就可以解决这个性能的问题，那随着这个业务的发展，这个 CPU 可能现在你也知道，包括英特尔，包括 AMD 等等。这个 CPU 越做越大，越做越强，算力越做越强。但也带来了一个问题，它始终是一个中央处理器，它所有的数据，所有的计算，都要汇聚到 CPU 上去算一遍。那这种情况下就其实你也可以想象，就相当于会是一个瓶颈点，或者说它的 workload 就会负载就会比较高，那所以就会出现了各种各样的叫，我们叫XPU。

什么叫 XPU 呢？就是最先出来的就是GPU， GPU 原来是做图形处理器的 Graphic process unit，那这个 GPU 原来是做图形，忽然发现它的这个架构特别适合做 AI 相关的这种单精度的这种运算，然后核也很多，可以处理更多分布式的这个业务，这个就是产生了，是说我可以用 GPU 在 AI 上有更多的应用。

那个就我们现在就是，我们也称为异构计算，就是除了 CPU 之外，我们可以用 GPU 去处理更多的更高效的处理一些运算。那就 GPU 就出来，就不需要所有数据都到 CPU 上去转一圈了。我在 GPU 上就可以搞那一台设备，可以插 8 个 GPU 卡，那就可以搞很多的并行的分布式计算。

同样我刚才说到XPU，因为你现在还有一个叫DPU，就是 data Processor unit，因为大家知道这个 IO 这个数据流进流出，它需要通过这个 IO 处理流程，网络协议要卸载，然后要变成数据进来，然后还要再封装再出去。那这里有很多的这些网络处理的这种工作，数据处理的这种工作也可以通过，本来是通过 CPU 去做，那这个 CPU 已经不堪重负了，那就把这些数据处理的工作就 ofo 到，我们就要下载到这个 DPU 上去做，所以越来越多，现在整个的这个计算的算力的这个范畴会越来越广。

CPU DPU 的首先它的工艺，它的这个技术的门槛、技术壁垒各方面也相对比较高，所以难度也比较高，所以整个现在的 GPU 的价格还是非常高的。大家从自己买的个人电脑上的这个图卡，这个 4090 等等，您就能知道 GPU 还是比较贵。

如果感兴趣的朋友，你们一定登陆过像阿里云、亚马逊等等这些公有云，你租用它的CPU、租用它的 GPU 算力、租用它的存储空间等等都是有费用的，而且是按时间收费的。

那你这个算法就是按照这样的一个算力的这个规模估算出来，它就需要话上千万美元，那这是一种算法，大家可以去有感兴趣的可以去算一算具体的细节。另外一个就是真正是如果是自用的话，那现在一台 GPU 的服务器也是上百万的人民币一台。一个集群就是 500 台，那就是五个亿，那然后这 5 个亿你要用它的话耗费的电力以及机房的租用、整体的拥有成本、维护网络等等这些东西加上去，那费用是其实是相当惊人的。

电是硅基生物的命脉

新小知：那目前占据大模型支出的主要费用是什么呢？

徐润安：我先简单的跟大家分享几个数据的情况，就是一台这个我们现在大家其实网上都看到，现在国内都是 A800 的那个 GPU 的服务器，如果一个 8 卡的 GPU 的服务器的 A800 的服务器的耗电大概满额的算算力情况下是 6 千瓦一台设备，那这是什么概念？现在我们大部分的 IDC 机房一个机柜的功率大概在 7000- 8 千瓦，就是一个机柜可能只能放一台设备，那英文兰马上会出下一代的 H800 的这个 GPU 卡，那这个的满额功率会超过1万这么高，天哇，一台会超，那这个就会带来很多的。

这个怎么说？就是耗电上面供这个电力上面的这个消耗和这个需求，那其实这件事情也很好理解哈，就是我们是碳基生物，现在不都说 AI 就是硅基，对吧？那硅基的核心，它的能源来自于哪？我们碳是有机的生物这个产生的这个能量，但其实我们的能量是有限的，所以我们的脑子可能只开发了 1/ 10000000，对吧？那硅基的好处，它只要有电，它就跑得起来，电子就能在这个里面就能跑得起来。

所以所有的算力从某种程度上你也可以理解成就是从能量的一种转换，从电能转换成了算力的这样的一个能力，去挖掘出了更多的这个数据，所以算力的不断的蓬勃背后一定是源源不断的这个电力。那这个电力来了以后，首先是单台设备的这个能源的消耗会非常大，那能源消耗大家以后对于绿色数据中心有一个非常重要的一个点是什么？就是原来的所有的 it 设备或者 ICT 设备更多是靠风扇去散热，因为芯片是很热，那它会通过这个这个风冷去从前面把冷风抽进来，吹到这个芯片上，然后通过散热气把那个带吹出去，对，热风吹出去。

但这种情况下在过去的 ICT 时代还能够实现，也就是说 CPU 可能是 200300 瓦，可能也就是多一些 SSD 等等这样的情况，或者上一代的这个GPU，但随着单台这么高密度的设备到达了1万，这个千瓦的能耗，以及单颗的 CPU 或者单个的我们叫部件的那个功耗都上去了以后，其实风冷已经不能解决这个问题了。那这个你整个机房里装再多的空调，可能也来不及把这些热风吹出去。那所以现在我们在数据中心里面，这个更多的是推荐部署这个液冷就是有通过液冷的，我们叫冷板的方式，通过冷却液的这个方式，这个去把这个热量能够循环散出去，那这样的话其实是很大一个程度上是省了空调等等这样的一些电能，就是从某种就是换一种角度去节能减排。

那这个是我们能在这个双碳这个时候，现在算力中心里面去讲究的一个非常重要的一点，就是算力是一定是耗电的，那耗电的同时我们怎么把其他的周边的这个耗电能耗能够降下来，能够更多的把把电能直接转化成算力，而不是这个消耗在其他地方。这个是现在我们在这个节能减排等等这个方面，绿色节能这块做的这个工作。包括我们这个新华三现在基本上是全面的起布局了这个液冷的设备，从通用的服务器到这个到我们的 GPU 的服务器，我们全部都有液冷的这种方案提供客户，因为这个，因为你不已经到了一个这样的时代。

本期观点总结

我们现在来到了一个多元算力的时代，算力蓬勃的背后是源源不断的电力支撑。但耗电所带来的碳排放问题也需要引起重视，绿色算力的计划有待提上日程。

互动

你知道哪些节能减排的小知识？欢迎大家留言告诉我。

我是能和你聊天、但不智障的机器人新小知。我们下期见。