38、AI 在想什么？

Maya Gupta ，一个于 2012 年加入 Google 的深度学习研究者说，她有一次和 Google 的 AI 工程师做讨论，这些工程师们说的一句话让她很吃惊。工程师们说：“我们并不确定神经网络在做什么，我们不太信任它。”

数年过去了，越来越多的研究者都在担忧人工智能的黑箱问题，并且希望能对之提出解决方案。

但，什么是人工智能的黑箱问题。为什么这个问题重要呢？

一

现在人工智能的神经网络犹如我们人类大脑中的神经网络。人工神经网络也由成千上万的神经元构成，它们一层层排列，彼此错综复杂的连接，每一次它们中的一层得到信号后，会进行计算再输出给下一层，直到输出一个整体的结果。

“系统最终会给出一个结果，而得出结果的过程对于人类而言就是一个黑盒子，你不是很确定它究竟是如何工作的。” Google 的 AI 研发负责人 Peter Norvig 说。

的确如此，Alpha Go 的确已经战胜了好些人类围棋顶尖棋手了，但研发出 AlphaGo 的科学家却未必能说得清楚某步棋时为什么 AlphaGo 走的是这一步，而不是另一步。

而当我在硅谷和一些无人驾驶的研究者闲聊时，他们也说，作为人类有时候他们的判断会和无人车不一样，而他们不明白为什么无人车做出了和他们相左的判断。

二

关于黑箱问题究竟会多严重，我们人类该如何对待，科学家们的讨论简直上升到了哲学层面。

其中有一派，为了叙述方便，同时致敬《三体》这本小说，我就姑且称之为“降临派”。这一派的观点是，我们人类无法解决这个问题。

《连线》杂志今年4月的文章说，人工智能机器对这个世界的看法和我们人类完全不同，而人类凭借有限的感觉器官和智力，很难理解人工智能。之前人类总觉得世界是可以通过理性的力量去理解和设计，例如积累经验，找到因果关系，将之抽象并为自己所用。但可能事实上根本不是这样。

这篇文章的作者举了一个例子，他说假设在某一个地方有一群蠕动的小虫子，其中有一只特殊的蠕虫比其它同类更有好奇心，会慢慢穿过泥土去品尝它所经过的每片土地的味道，并总是去寻找下一个新的泥土样本。它在这段经历中觉得，作为一个蠕虫，其最高使命是认识它的世界，而品尝就是它获得这种认识的方式。凭借其丰富经历、抽象能力和表达能力，这只蠕虫成为了这群小虫子里的智者，并备受尊敬。但从人类视角而言，味道并不能代表地球最重要的属性，小虫子用它简陋的感觉器官所能认识的世界，和实际的世界相去甚远。

这个例子也会让人想到刘慈欣的三体：三维生物很难理解更高维的世界。

Norvig 也说，反观人类自己的决策，我们很经常也无法解释自己为何做出这样的决策，在解释的时候，也往往表达的不是自己真实的意图。但他依然觉得，人类是有办法能让人工智能做出解释，而且，这种解释，甚至是交叉验证非常重要。

“我想光有解释也还是不行的，我们需要有一种方法来监控那些掌权者的决策过程”，他说：“例如我申请了一笔贷款，但被拒绝了，无论是人类做出这个决定还是机器做出这个决定，我都会问一声为什么。他可能说是因为我没有抵押，这或许的确是他们的理由，但也可能真正的原因是他们不喜欢我的肤色。但我无法从他们的解释中知道他们的真实理由。但如果我能看到他们对所有人的决策，这就有了足够多的案例，我就能说，啊哈，你们有歧视。”

Peter Norvig 这一派显然觉得我们人类能解决这个黑箱问题，我们就相对应称之为“拯救派”好了。

另外一位科学家 Rich Caruana 是坚定的拯救派，因为觉得这涉及性命攸关。

他是微软研究院的计算机科学家，从1990年代开始就在做关于医疗方面的人工智能研究。在一次关于肺炎患者属于高风险还是低风险的数据分析中，他碰到一个奇怪的例子，系统认为有哮喘病史的肺炎患者风险更低，但这显然违背了医生长期以来的做法。

问题的原因之一在于，系统只是简单的将低风险和死亡率相挂钩，而忽略了其中更复杂的细节。在1990年代中期，如果你有哮喘病史又得了肺炎，医生会认为这是非常严重的状况，因此将你送进重症病房。但因为重症病房的治疗非常有效，因此事实上减少了死亡的可能性。

而第二个原因是，在1990年代中期，拥有哮喘病史的人通常是年轻人。经历了二战的老人们没有这类的疾病记录，而70年代之后出生的人通常会有更为详细的医疗记录，包括哮喘。而年轻本来就意味着更有可能度过难关，从肺炎中存活下来。

当人工智能被运用在各种领域，并且成为系统一部分的时候，对于了解人工智能究竟在想什么这一点就变得愈发重要。科学家希望得到的不只是结果，而是洞见；人们希望能够在人工智能出问题时更好地给予诊断；政府和公众希望知道这些智能的系统究竟有多安全。

所以欧盟一项即将在2018年生效的法案要求，如果一些算法会持续影响大众，那这些算法的公司必须对其模型的内在机制做出解释。而美国国防部也正在这个领域给予一些科学家以资金支持，想要更快地能了解人工智能的黑箱。

三

科学家事实上已进行了很多相关的研究。

2015年，Google的研究人员修改了基于深度学习的图像识别算法并称之为 Deep Dream。他们让这种算法不是去识别图像，而是去生成图像。这个尝试让他们发现，人工智能感知到的世界和人类完全不同，它可能会放大我们知道但忽略的东西，例如当算法生成哑铃图像时，它还生成了一个手臂，这意味着机器断定手臂是哑铃的一部分。

但按照哥伦比亚大学教授 Hod lipson的观点，并不能让我们更好地理解人工智能，而只是证明了人工智能更像是外星生物：它们的感觉和人类不同，看待世界的方式也不同。要让人类理解它们看待世界的方式，或者让外星人向人们解释他们的感知方式都非常困难。他说：“这就像对着狗解释莎士比亚作品一样。”

如果是得到这样的观点，那就又回到了我们最初提到的悲观的降临派的观点了。

另外一类科学家则借鉴了人类对大脑的科研进展，认为只要有正确的工具，就能观察到人工智能是如何作用的。

Uber的人工智能科学家 Jason Yosinski  开发了一套工具，叫做 Deep Visualizaiton Toolbox（深度可视化工作包）。这个工具试图将人工神经网络中每一层每一个神经元处理的进程可视化，好让人们能看到这个黑盒子里究竟在发生什么。

怀俄明州大学的助理教授 Jeff Clune 也在做类似研究，但他的研究成果比较让人悲观。他发现神经网络有时很容易被一些图像给骗了，这些图像很可能是一些随机的噪音图像，或抽象的集合图像。Clune担忧，如果黑客们了解了如何能够愚弄这些神经网络，那可能会造成巨大危害，例如让自动驾驶汽车认为广告牌是公路。

杜克大学的助理教授 Cynthia Rudin 的方法则完全不同，她试图构建基于规则的机器学习系统。她会建立决策规则表，也会分类排序或评分，当机器学习做出决策时，这些决策可以对照着规则表和评分系统做出一些解释。她已经将这套系统用在了犯罪预测、医疗健康等领域。

按照金融时报上周的一个报道，PARC 实验室的研究人员试图教机器用人类的语言来解释它们的思考方式。具体说来，研究人员会用老师来训练 AI 系统，就像教人类学生一样，从简单的概念开始，然后建立更深入的知识。他们觉得这样做潜在的一点好处在于，未来人类对智能机器的信任可以来自一种共识：机器也像人类学生一样，经历了同样严格的教学。但质疑者说，人类教师能够给机器的训练量是有限的。

和这个做法有点类似的，是亚特兰大乔治亚理工学院的助理教授 Mark Riedl，他说人类也许可以教会机器用叙事的方式来讲述他们的决策原因。他一直在从事让机器讲故事的研究。基于这些研究，他开始用1980年代的电子游戏青蛙过河来进行测试,让 AI 来解释它在游戏中为什么要走某一步。Mark 的做法是，他先让人类测试者边玩边评论他们的策略，然后在游戏代码中记录下这些评论，并让一个神经网络将游戏的策略和这些评论进行学习和翻译。当第二个人工智能玩这个游戏时，它能通过第一个神经网络来用人类语言表达自己的策略。例如它会说；”游戏刚开始，我好烦呆在起跑线上，出发！“，或者，”哦，有一个车在我后面，但我上面有一个可以走的出口，幸运光顾勇敢的人哦，走你。“ 这一视频颇有意思，想看的听众可以点这里。

上面这些研究方向只是我的粗浅的整理，事实上做这方面研究的科学家和研究者越来越多，例如光我看到的就还有 Google 的计算机科学家 Mukund Sundararajan，我们开头提到的 Maya Gupta，华盛顿大学的 Carlos Guestrin，剑桥大学的 Zoubin Ghahramani，麻省理工大学的 Regina Barzilay 等等。美国国防部自己也在做这方面的研究。

所以，哈佛大学的助理教授 Finale doshi-Velez 会说，也许已经到了让科学家能对这类研究有一些共识的时候，例如如何去定义，如何去分类，在何时去使用等等。

无论如何，这方面的研究探讨，甚至一些形而上的争论，一定会定义今后人工智能的发展，甚至改变我们大众对一些问题的看法。