第64集 陷入低谷

第64集 陷入低谷

00:00
08:16

【本集金句】山姆奥特曼:“倾听每个人的意见。然后做出自己的决定。”

第64集 陷入低谷

虽然格雷格布罗克曼带领OpenAI在Dota 2项目上获得成果,弥合了研究员与程序员团队间的隔阂,然而,他却依旧阻止不了OpenAI内部出现的另一个隐患。2017年开始,这个隐患随着Dota 2项目的成功反而更加凸显,那就是,人工智能研发太花钱了。

虽然山姆奥特曼早就做了准备,知道OpenAI会花很多钱,于是拉到了一群大佬做出10亿美元的投资承诺,但奥特曼明显还是低估了人工智能领域的烧钱程度,这和做一家商业公司根本不在同个级别,尤其是OpenAI真正开始运作具体的研发项目后,无论是智能机器人、游戏人工智能还是人工智能系统,每次微小的数据运算背后都有几张消失的美元。于是OpenAI这个仅仅五十人左右的团队,在小心翼翼、不敢乱花钱的情况下,一年也需要烧掉一两千万美元,这时候奥特曼此时才有了一个明确的概念,领会了烧钱无底洞这句话的真正意思。

当然这事也不能全怪奥特曼,一方面,奥特曼当时的主要精力还在YC孵化器,他在创立时拉来10亿投资承诺后,他和马斯克基本就成了甩手掌柜,一个蹲在YC办公室,一个回特斯拉工厂,刚成立的OpenAI被交给了格雷格布罗克曼,奥特曼和布罗克曼基本都是电话沟通,几周才见一次面。而布罗克曼虽然也年少成名,已经是个成熟的硅谷新贵,但他在商业和拉投资这两部分明显没有奥特曼厉害,也没有奥特曼的人脉资历;另一方面,硅谷大佬们每一个都是人精,他们承诺的10亿美元投资,几乎都分成了很多笔,一点点到账,布罗克曼催一次,给一点,那么今年已经给过了,布罗克曼也不好意思再催,这就导致了OpenAI每年的预算都非常有限,只能数着数、省着花。

如果我们打开OpenAI的税表,可以明显看到,2017年,OpenAI的职能支出为2866万美元,其中仅仅在云计算一项上就花了790万美元,占其职能支出的四分之一,而这项开支的大部分都归功于DOTA2项目对CPU和GPU的消耗,而且因为没钱,OpenAI就连训练人工智能模型的CPU和GPU都是找谷歌租借的,虽然这租金也是真的很贵。和OpenAI形成明显对比的,是背靠谷歌这棵苍天巨树的DeepMind,2017年DeepMind的总支出是4.42亿美元,OpenAI的15倍以上,而且DeepMind需要的比如云计算、CPU或者GPU等方面的资源,还可以内部申请支持,免费或者打折使用。穷孩子和富孩子之间的差距如鸿沟一般巨大,OpenAI等于在没钱上各种补习班、请名师辅导的前提下,只能靠挑灯读书和DeepMind这个同样天赋出众的富二代比成绩。结果自然是惨败。

缩手缩脚的花钱行为,也导致了OpenAI的研发进度缓慢,每次发布研究成果,不是没有在圈内掀起任何水花,就是在谷歌的笼罩下成为阴影里的失败者,只能暗中羡慕谷歌DeepMind成功出圈,风光无限。比如,在2016年,OpenAI发布了Gym和Universe,在圈内积攒了一点名气,同时期的谷歌DeepMind已经凭借阿尔法狗击败了围棋顶级选手李世石,引发全世界对人工智能的关注;2017年,OpenAI好不容易开发的游戏人工智能,在Dota2游戏中1对1战胜了人类顶级选手,终于上了一次头条,还没过足瘾,谷歌DeepMind就发布了Transformer模型,这个模型奠定了所有大语言模型的基础架构,直接震惊了整个业界,让OpenAI的成果成了小孩的玩具;之后的2018年,OpenAI基于Transformer发布了第一代的GPT,结果谷歌后手就重磅发布了跨时代意义的Bert,比GPT参数大四倍,再次抢了GPT的风光,让OpenAI黯然失色。可以说,OpenAI成立后的3年时间里,基本都只能跟在谷歌DeepMind身后吃土,遭到全面碾压。

在这个过程中,OpenAI的内部嫌隙开始扩大,此前好不容易挖来的技术大佬、研究人员,有不少人不甘寂寞,或者因为研发方向不同,或者认为有限的资源和资金支撑不了他们的研发热情,于是纷纷跑路,回到谷歌、Facebook这些大厂,OpenAI面临着严重的人才流失问题。

著名研究员、GAN的提出者伊恩古德费洛就是其中之一,古德费洛以发明GAN生成对抗网络而闻名,这个概念是一种机器学习框架,使用深度学习生成图像,使用两个神经网络来竞争性地提高图像质量。这位布罗克曼好不容易挖来的狠人仅仅在OpenAI待了11个月,就回到了老东家谷歌大脑。在某个论坛里,伊恩古德费洛曾回答了一位用户的提问,在提到自己离开OpenAI的原因时,古德费洛说:“我很喜欢在OpenAI的日子,也为OpenAI的同事们与我合作完成的工作感到自豪。我重回谷歌大脑,是因为随着时间的推移,我发现我的研究集中在对抗样本,以及与差分隐私相关的技术,而这些研究我主要是与谷歌的同事合作进行的。”

2017年6月,Open AI在失去伊恩古德费洛后,又损失一名核心研究员安德烈卡帕斯,卡帕斯毕业于斯坦福人工智能实验室,博士 师从 华人科学家李飞飞教授,专攻深度学习和计算机视觉,他还担任着斯坦福大学第一门深度学习课程“视觉识别的卷积神经网络”的主要讲师,本人曾在谷歌大脑、DeepMind实习,与吴恩达一起共事,并且待过几乎所有人工智能深度学习实验室,更重要的是,他乐于而且善于分享自己的经验和见解,在推特和Medium上非常活跃,有AI “网红”之称。卡帕斯的离开让Open AI彻底军心不稳,因为从Open AI挖走卡帕斯的不是别人,正是特斯拉公司,卡帕斯离开后不久,特斯拉就官宣卡帕斯成为他们自动驾驶项目的架构师。这也意味着这次挖人获得了Open AI的联合创始人之一埃隆马斯克的默许。

马斯克默许特斯拉挖走OpenAI的核心研究员这件事,让OpenAI的员工们非常不爽。就在外界和OpenAI内部仍然在消化这一消息时,一个重磅消息传来:OpenAI在官网宣布与埃隆马斯克和平分手!

以上内容来自专辑
用户评论
  • 工科666

  • 拈花微笑步红尘

  • spiritking