第60集 迷茫探索期

【本集金句】山姆奥特曼：“人们拥有改变事情的巨大能力。自我怀疑、过早放弃和不够努力，使大多数人无法发挥他们的潜力。”

第60集 迷茫探索期

OpenAI显然是带着恐惧成立的，但还没什么人知道它打算迎接什么，创造什么，甚至就连OpenAI的几位核心创始人也有些迷茫。OpenAI Gym的发布就像这份迷茫的一个缩影，他们做了个还不错的研究平台，然后呢？世界上任何一家人工智能实验室都能做出一个这样的平台，只要他们愿意，但没有突破性的研究成果支撑，只分享平台又有什么用呢？

2016年5月，时任谷歌研究员的达里奥 阿莫迪来访，将这类质疑声彻底公开化。阿莫迪解释自己到访的原因时说的很简洁，他说他只是想弄清楚一些事情，因为外界没有人了解OpenAI在做什么，他们太神秘了。因此，在OpenAI办公室，阿莫迪直截了当的问道：“你们可以弄到十亿美金，然后雇佣三十个出色的研究员，但是要干什么呢？我的意思是，除了你们聊了很多次的理念那些东西，你们具体要做的东西到底是什么？”布罗克曼面对这个问题，有些尴尬的回答：“我们现在的目标是……做现在能做的最好的事。这个说法的确有点模糊。”

阿莫迪对这个回应不置可否，事实上，他在AI领域也走得很深入。2014年时他加入百度，与一个由AI科学家和系统工程师组成的小团队合作，其中包括Google Brain联合创始人兼首席科学家吴恩达，但与团队里的其他人致力于探索AI和深度学习方面的难题不同，阿莫迪将大部分时间花在了Deep Speech 2系列语音识别模型上，这是一种端到端的深度学习方法，可以识别英语和普通话等截然不同的语言。同时，阿莫迪还构思、制作原型并实施建设了神经网络架构，也就是利用神经网络来处理复杂的语音，例如嘈杂的环境和口音，在测试环境下，他们能让所得系统的输出与人类工作者提供的转录相当，尤其英语和汉语语音系统中单词错误率显著降低。一年后，阿莫迪离开百度，成为 Google Brain团队中的一名深度学习研究员，继续扩展神经网络的功能，并且撰写了多篇关于人工智能系统安全和事故预防主题的论文。

阿莫迪在谷歌的研究正是OpenAI感兴趣的方向：也就是关于人工智能的系统安全问题。当时接连几个新闻让人们开始关注人工智能的欺骗与滥用问题。2016年3月，微软发布聊天机器人Tay之后，Twitter 上的一些“流氓”用户马上就教会了Tay发布类似“用毒气毒死犹太人，发动种族战争吧“之类的恐怖言论；不久后，互联网上发布了第一首由人工智能生成的流行音乐《Daddy’s Car》，这首歌听起来就像披头士所作，但很明显，披头士的歌单里并没有这首。就像你最近关注互联网，也许会发现“冷门歌手”孙燕姿的AI版本在大杀四方，从经典电视剧的主题曲《向天再借五百年》《好汉歌》，再到我们耳熟能详的周杰伦、林俊杰、陶喆的歌，AI孙燕姿都能唱给你听。早在2016年，AI生成内容就有了这个趋势，并且引发人们对版权风险的担忧。

马斯克在公开场合，对这两件事嘲讽着说：“虽然还没看到机器人杀手在街上行动，但不代表我们就不该担心了。”马斯克并非危言耸听，在当时，苹果的Siri、亚马逊的Alexa以及微软的Cortana已经为数百万人充当起助手，实时翻译和自动驾驶技术更是想当然地被信赖，就连奥特曼所带领的YC孵化器也开始使用一个叫做Hal9000的人工智能机器人，来筛选创始人们提交的申请：也就是说，这神经网络正不断通过评估之前的申请和这些公司的成果来训练自己。奥特曼在被问到关于这一人工智能机器人的工作方式时说：“它筛选的是什么？我不知道。神经网络让人担心的就是这一点——你不知道神经网络在做什么，它也无法告诉你。”

因此，山姆奥特曼对阿莫迪的到访非常看重，他和布罗克曼一起接待了这位人工智能方向的年轻天才。阿莫迪再次直接问奥特曼和布罗克曼：“AI领域里有二三十个人，包括尼克博斯特罗姆，都说OpenAI想造出一个友好的人工智能，然后向世界公布它的源代码，确实是这样吗？”这一次奥特曼给出了出乎意料的回答，一方面呼应此前布罗克曼在接受采访时的回答，奥特曼说：“我们不打算开放所有代码。”另一方面，奥特曼补充了另一句更重要的话：“如果人工智能不够友好，我们最后也别试图纠正它，一般这只会导致情况变得更糟糕。”

之后，山姆奥特曼带着几位OpenAI的研究员，和阿莫迪重点讨论了机器学习系统中的事故问题，尤其是可能由现实世界里AI系统的设计不良，而导致的意外和有害行为。一个月后，OpenAI参与了阿莫迪领导的论文《人工智能安全中的具体问题》的撰写，成为合著者之一，这篇论文围绕确保现代机器学习系统按预期运行来探讨了许多研究问题，并根据问题的来源分类主要分为了三块：第一，是否源于错误的目标函数，包括“避免副作用”和“避免奖励欺骗”两个问题；第二，目标函数过于昂贵，无法经常评估，包括“可扩展监督”这个问题；第三，学习过程中出现不良行为，包括“安全勘探”和“分布式转移”这两个问题。这篇论文回顾了人工智能领域的先前工作，并提出了研究方向，重点关注在尖端AI系统的相关性，最终考虑了如何最有效地思考AI前瞻应用的安全性这个高层次问题。

这篇论文发布后仅仅一个月，达里奥阿莫迪就加入了OpenAI。说到原因，一方面，此前，他的妹妹丹妮拉阿莫迪曾与布罗克曼共事过，因为这个缘故他已经认识了OpenAI的许多成员。而更重要的原因是，山姆奥特曼等人对人工智能安全问题的重视，最终征服了阿莫迪。达里奥阿莫迪加入OpenAI后，一直带领着 AI安全团队。在后来接受采访时，阿莫迪解释了他跳槽到这家公司的原因：“我认为这里有许多非常有才华的研究人员，这是一个很好的环境，可以在已经完成的人工智能研究的背景下考虑安全性。”虽然他之前从未在初创公司工作过，但阿莫迪对能突破人工智能行业的界限，一心专注于监督机器学习感到非常兴奋。2018年9月，阿莫迪成为OpenAI的研究总监，并在一年多后成为研究副总裁，负责构建GPT-2和GPT-3的团队。

达里奥阿莫迪这员大将的加入，成为OpenAI迷茫时期的一道光彩，之后，OpenAI将聚焦哪个方向，是否能在技术研究方向能找到突破口？