【人工智能】1-6：对话顶级专家——人类解决不了的问题，机器也不能

更新提醒 

每周更新三期

点击右上角免费订阅↑↑↑

本期原文 

郝景芳：

最后一个环节，我们更多地去聊一些未来的故事情景，就是关于人工智能伦理的这部分，其实这部分也是曾老师的专长。曾老师是人工智能伦理委员会的专业的委员，也去参与了很多全球的讨论。

那么关于人工智能伦理，就是人工智能如何去处理未来的一些道德上面的，或者是很难很难的选择，这个是一个非常非常重要的话题，而且可能是在我们未来的几年就会发生的。

比如说，现在的这样的一个人工智能的汽车，它出去如何判断是往哪个方向走？然后这个过程当中要是伤了人怎么办？类似于这样的问题，它非常非常现实，可能很近。

比如说前两天特别火的一个问题，画和猫掉到水里，你是救画还是救猫，或者是你的朋友和妈妈你救谁？那像这样的一些困难的问题，人工智能会怎么回答？以及我们要如何教他们回答这些问题？

曾毅教授：

现在人工智能的发展，我们刚才谈到的一切归纳一下，基本上可以说是一个认知的大问题，这个是最基本的认知功能。但实际上我想，特别是在中国，我们中国人定义自我的方式叫做relational self，就是我们通过我们的关系来定义自我，通过我们的家人朋友来定义我是谁。所以实际上就是人工智能现在在解决问题的时候，特别缺少的就是social brain的这个部分。Community brain好像正在构建，但是social brain这个部分研究非常少。

刚才提到的我们叫做道德机器，就是我们所说的这个电车难题，归根结底其实是想让电车去学习人类的价值观。但是人类的价值观本身在不同文化里就是有差异的，所以机器能不能够学习？

首先，第一个它能不能够真正地理解人类价值观，这是第一步。第二个可能在不同的文化中有不同的差异，那么能不能够学习到这种差异。我们举两个更为直观一点的例子。

一个例子就是刚才景芳提到了，就是如果我们有一个home robotics就是我们家用的机器人。你上班了，家里的小狗没有人看，它去遛狗。这个时候草坪上写着“禁止践踏草坪”，可是小狗跑上去，所以机器人会停在那说，“我不要进去，因为人告诉我不能践踏草坪。”可是这个时候草坪上一个三岁的小朋友在那跑，小狗过去把小孩咬了，这个时候机器人是冲上去把这个狗和小孩拉开，还是说因为我们上面写着禁止践踏草坪，所以机器人不能上去。一直到小狗把小孩咬伤了，它也不能上去？

所以，在这种复杂的道德决策的过程当中，人是怎么去做的？那机器需要去学，因为不能说，“因为上草坪是不道德的，所以即使小朋友被咬了，我也不要去救。”人在面临这种很复杂的道德决策的问题的时候，他的优先级是什么？这个是未来的机器人慢慢要去获取的。

所以我想刚才这个场景看似简单，但其实它背后的处理决策过程也足够复杂。而它更反映了一个问题，那就是我们人类的道德决策，其实并没有那么的简单，真正地让一个机器去理解，而不是去遵守规则，这才是非常重要的。

另外一个场景是，比如我们构建护理的机器人照顾老人。老人说进来要敲门，所以这个护理的机器人每次进来的时候都去敲门。可是有一天老人病了，它敲门没有人去回答。这个时候比如机器人，它明明知道里面的老人可能病了，发不出声音了。它可以在门口等，它说，“因为说了，只有答应了才能进去，因为你没答应，所以我不进去救你。”这样对吗？

所以看似都是非常平常的一些家用的环境下的一些场景，但是可能背后就隐含着我们对于人类的价值观和伦理道德的真正的理解、嵌入。

举个例子来说，像你参加跑步比赛，你为了拿到第一名会以最快的速度跑。但是如果这时候横冲直撞，出来一个六岁的小孩跑过去，你是会不顾一切的把他踢开，赢得第一名？还是说我让开他，哪怕得最后一名，我也不要撞到他。所以这个就是人在解决问题的时候，他的这个思路跟现代计算机是完全不一样的。

用计算机的话，为了得到最大的奖赏，或者最少的惩罚，可能就是说我解决这个问题，我尽快地以最快的速度完成人们对我以前的预期，对我们这个目标的预期就好了。那么这样的话，它做出的选择，就有可能是把小朋友撞开，因为这样的话可能是最省时的，并且能够赢得比赛。

但我想这个就是现在看似智能的信息系统，为了得到更多的所谓奖赏值的信息系统，跟我们人在解决问题的时候最大的差距。

未来的人工智能系统，我其实对于日本的一些社会的发展，人工智能的愿景，我觉得他们是比较有特点的。比如他们现在在发展这个叫做社会5.0，在里面就把人工智能设计为我们叫做“人类的准成员”。什么叫做“人类准成员”？其实就是人类的伙伴。在我这个年龄的时候，我是看机器猫和铁臂阿童木长大的。所以那个时候大家可以看到，在几十年前的时候，日本对于人工智能的一个设定就是人类的朋友。但是如果你想当人类的朋友，人类的伙伴的话，那么你就要符合人类的道德伦理的框架。

所以我想，实现人类的价值观跟机器价值观的校准的问题，我觉得是未来人工智能研究的一个圣杯。而且，也许未来的人工智能系统的这个伦理的框架应该是它必须具备的一个组件，甚至是最为重要的一个组件。否则的话，人工智能系统恐怕永远不可能成为人类真正的伙伴。这也就是为什么发展人工智能伦理的重要性。

郝景芳：

刚才曾老师讲跑步的那个例子。当时那个埃隆·马斯克，他就说，其实人工智能以后为何会消灭人类？它不是恨你，它是想把地球种满番茄，然后你挡了它种番茄的路，所以它把你消灭了。当时他是举了这个例子，就是指人工智能，它为了完成它的目标，一不小心就把你消灭了。这是一种未来的这个危险的可能性。

那么其实我自己觉得在有关于人类这种安全生死上，我们还是可以给它一些预防性措施，像阿西莫夫的机器人三定律，你永远不可以伤害人类啊等等。但是这里面就会有比较复杂的地方在于，如果不涉生死，而是其他的一些道德准则，它就会有一个选择问题了。

我也是举一个小的例子，就是假如有一个小孩，他有一个机器人朋友，然后这个小孩做了一些不想告诉妈妈的事，他偷偷拿了点什么东西。然后这个时候他跟机器人说，“你千万别告诉我妈妈。”那机器人遇上的一个道德问题就是它可能有一些道德律令，是输入给机器人的。它知道可能偷拿东西是不对的，但是呢，它也有另外的一个道德准则是，如果小孩是我的朋友，忠于朋友也是我的道德准则，那到底是遵守偷东西要举报，还是遵守我应该忠实于友情。

这个其实对于正常人都是一个两难选择，那这个编剧我们都知道，我们在做故事的时候，最喜欢的就是做两难选择。没有两难选择，不成为故事。所以我们其实经常会构建这样的两难选择。但是那对于机器来讲如何去判断？这还不是一个程序员告诉机器说你必须要保护人的生命，把这个作为一个圣律告诉它。没有那么简单，这里有很多很多的道德两难选择，就是没有正确答案的。那怎么办？所以这个里面就会有很多很多的问题了。

李想：

其实我刚才想说的就是，如果按你说的，就是其实我们无论人类还是机器人，面临的都是选择问题。我特别期待未来就是人类的伦理和机器人的伦理可以共同进化。可以把我们人类，甚至就是我们人类解决不了的道德伦理问题，变成一个不是选择题的问题，而是一个优化解决方案的问题。那可能是我希望看到就是未来人工智能发展对我们人类文化促进的一个节点。

郝景芳：

也就是两难问题不难了。

李想：

比如说母亲和妻子都掉在火里，我们有几种解决方案，能在最快的时间内把两位救出来。

郝景芳:

但是咱们做编剧的一定会给你一些“他救不起来两个人”的情景，所以就是这个故事嘛，它就是这个内心发生冲突的时候，它是故事；然后如果是能够有一个技术解决方案，它就是工程。所以这个是一个很大的问题。

曾毅教授：

其实我觉得刚才景芳谈到的就是现在数据驱动人工智能一个最关键的伦理的问题，就是数据的偏见问题。就是好像说基于统计大概率是这样的，但实际上，这个就是没有达到真正的理解。

比如说，现在很多人用智能推荐系统在找工作的时候会说，如果你是女生的话，我会推荐一些底薪的工作，比较初步的工作；如果是男生可能会有高管的工作。有些人说人工智能具有偏见，不是人工智能具有偏见，而是它基于的这些数据，可能90%的数据是男生的，特别是90%的男生，可能是高管里面更多的是男生，所以人类社会当中的偏见被数据捕捉到了。而数据的特征被人工智能学到了，所以人工智能不具有偏见，具有偏见的是社会，具有偏见的是从社会当中获取到的这个数据。

我想现在的类似于这样的数据、偏见，都是没有真正达到对于真实世界的可理解性。还有就是如果未来人工智能系统能够真正帮助人类社会去纠正偏见，我想这个是更重要。像我刚才说一个角色，如果我们说你学习到了，如果是女生应该给她低薪的工作。如果一个人工智能系统告诉你说“这样的判断，这是具有性别偏见的，你是不可以做这样的决策的。”我想那才是真正的智能。

郝景芳：

但是这前提条件是我们得需要有一个这种人工智能伦理委员会告诉它不应该有性别偏见。可是如果说程序员小哥哥本来就认为女生应该低薪，认为男生应该高薪。如果他本身就觉得性别偏见是对的，他就是认为男性应该统治世界，那么他可能会给到的伦理就是歧视女性的。那我们怎么来决定谁给人工智能输入这个code。

曾毅教授:

特别关键，所以为什么在阿西莫夫的三定律里讲的是人类，而不是这个绝大多数的利益，而不是个体。但是谁又来代表人类？所以这个就是现在需要去思考的问题。

另外一个非常有意思的观点来自于哲学家，我们国家有一个知名的哲学家，社科院的赵汀阳老师，他在看到人工智能的时候还讲过这样一个观点：他说，拟人化的人工智能是一个错误的发展道路，因为人类的情感和价值观，就是我们仇恨、敌视的来源，所以模仿了人类的情感和价值观的机器人，就像我们现在人类一样危险。

所以我想他想表达的意思，并不是对人类很失望，而是说我们现在人类不完善的那一面，有可能被计算机学习到，特别是我们所说的human value，人类的价值观。如果我们这个价值观是不正确的，如果这个定义这个价值观的人是不对的人，那么这样的话人工智能系统就非常危险。

郝景芳:

对，因为现在很多人就在讨论互联网的极化。本来大家认为信息是平的，世界都变平了。但是现在发现互联网的时代，大家反而各自凑到一起，就更加极化了各种极端的观点，都会凑到一起就会被放大。那未来如果说是这个人工智能，会不会形成好多种人工智能，比如说像性别偏见人工智能，他们就专门是做性别偏见的智能。然后呢，还有这个民族仇恨人工智能，然后还有其他的把我们所有的那些仇恨的情绪，其他情绪反而放大了。就是这样会不会人工智能世界也变得极化。

曾毅教授:

我觉得不排除这种可能。因为目前构建人工智能物，我们是说人类要把人工智能变成什么样子，所以它仍然是人类的一面镜子。现在人类的很多方面，刚才景芳讲都在走向极化，所以现在更有意思的问题是，如何去避免这些情况的发生。

郝景芳:

那曾老师有什么好的建议吗？

曾毅教授：

我现在觉得就是，首先，我希望人工智能的模型演化的速度要比大脑的演化速度再快一点。我觉得超级智能什么时候到来不重要，我觉得重要的是我们怎么定义它。因为如果超级智能真的是超级的话，那么它在比如我们所说的利他之心等等方面，都要比人有过之而无不及，只有那样的话才是真正的超级智能。

所以像有些人说超级智能如果真的实现了，那人类就灭亡了。我说那还不是真正的超级智能，仍然是一个没有演化好的超级智能。因为如果它演化好了的话，它就会发现真正的利他行为，它就会比人类要大数倍甚至不是大指数倍。

所以我觉得这个可能是未来人工智能在发展的过程中，特别是在构建它的伦理道德框架的过程当中，非常重要的发展方向。就是基于现在对于人类价值观的这个理解开始，但不是说不变。因为像人类，我们讲叫做human being是存在，但是实际上人类还在演化的过程当中。我们未来构建的你可以理解是人类的扩展。它是另外一种文明，但是有可能是人类的未来。像景芳说的，如果人类未来存在的其中一种形式就是把意识上传的话，那你可以认为它是另外一个增强人类的智能的版本。

但如果是这样的话，我们现在同时也思考的问题就是人类如何去转型。人类的伦理道德价值观也应该在发生着演变，这种演变的话，像我们刚刚提到一个场景，我们能不能够在一个模拟的环境当中去演变，加速它演变的过程，使得现代的人类能够受益于这种计算模拟的演变，再回馈于现代的社会。我想这可能是对人类来讲，即是一个终极的机遇也是一个终极的挑战。

郝景芳:

那您刚才讲的超级人工智能是一个超级利他主义的非常博爱的人工智能，这是一个很乐观主义的预测。那比如我们今天在这儿，我们现在的方向是朝那个方向走的吗？还是我们这个人工智能会越来越多的带上我们今天社会的那些偏见、恶习，往这个方向走？

李想:

这也是我特别想问的。而且我的问题可能是在这个阶段之后，就是如果人工智能有了意识，有了情感以后，它们能演变出自己的伦理道德体系的话，那它们会不会有一天，它们的伦理道德体系会凌驾于我们之上，甚至会觉得我们其实是人类文明传承的弊端。那就是科幻的电影里其实有写到“人类清除计划”，包括灭霸的那个响指。

郝景芳:

平衡宇宙。

李想:

我觉得对，其实都是类似的这个议题。甚至我可以说我在看了那个《复仇者联盟》灭霸那响指的时候，其实我更倾向于他。我并没有说什么人类，我真的可以理解他在做的是什么，所以就是如果在我的理解，可能我们人工智能的发展还是在人类人本和人类可控的范畴。

那我们居安思危的话，我们现在是不是也应该再提前想想如果走到那一天，我们人类是否要接受另外一套道德伦理的系统，或者是怎么能阻止它独自的演化。因为我相信，如果到了那个阶段，它的速度可能是我们人类都无法控制的。

曾毅教授

我觉得你说的是对的，我觉得比较危险的这个事情对于人工智能的发展来讲，就是人工智能获得反思的能力。问题就说，为什么是人类的价值观？为什么是这样？

郝景芳

为什么我要把保护人类作为我的第一条原则？

曾毅教授:

为什么要保护你而不是我？为什么保护的是人类不是机器人？一旦它获得了这种反思的能力的话，它就会去挑战人类伦理道德和价值观。但从另外一方面，我们也要去深刻思考人类伦理道德价值观是不是有问题？

我有一个朋友他是耶鲁大学生物伦理中心主任叫Wendell Wallach。他写了一本书，叫做《道德机器》（moral machine）。在那本书的中文版的这个书皮上，有这样一句话叫做“永远把机器关在道德的牢笼里”。后来我看到这句话的时候，我很不舒服。我问他：

郝景芳

道德为什么是牢笼？

曾毅教授

然后我问他说“你确定吗？”他说：“哦，这句话不错，我要放在我第二版的英文版上。”我说，“那如果是这样的话，你就不要给我看你的那个书的第二版英文版。因为我说，你可以设想这样一个场景：在2015年的时候，我们有这个计算机，可以看着Facebook上的这个视频学会炒菜。然后现在大家正在构建一个机器人，让它去理解电影里面的场景。”我说，“你可以设想这样一个场景：30年之后，超级智能真正到来的时候，它在看着youtube上所有关于人类如何去对待机器人的视频。”可是你想一想到底是人类在牢笼里还是机器在牢笼里面？可能是一个很难回答的问题。

后来他很大声的笑，但是没有回答这个问题，我想就是这样的。我们现在其实并不确定人类的道德伦理价值观是最优的，对于整个我们构建的以人类为中心的人工智能的伦理，以人类为中心是真的那么好吗？

比如另外一个策略是以生态为中心，人类是生态的一部分。甚至还有哲学家提出，我们应该有以宇宙为中心的这样的视角来构建新兴科技的伦理问题。所以我觉得就是人类能够看到的视野是很小一部分，往前一点点。但是即使是这样，你也可以看到还有很多的问题需要去解决。

我刚才说了这样一段话不是我自己的观点，而是在1950年的时候艾伦·图灵写这个《计算机器与智能》（Computing machinery and Intelligence），他写的文章的最后一句话。

郝景芳:

所以这个就涉及到说这些问题是值得讨论的。像我为什么想要做这个跨界对话，就是从我的朋友圈里面找最不搭界的两个人一起对话。其实真的是我觉得这些科技问题，当从纯粹的技术问题进入到社会的话，需要跟更多领域的人，需要跟这个真实社会中的每一个人去发生对话，才能够共同去探讨出来哪个方向是更好的方向。因为到这个阶段就已经不是一个纯技术问题，说我怎么让它算得更快了，而是说到底未来让它往哪个方向走，那其实真的是需要有这个大量的其他领域的人来对话才可以的。我觉得真的是跨界才有未来。

郝景芳:

所以其实科幻照进科学，科学也照进科幻。这个本来就是一个思想实验的共生的。像刚才讨论到，说未来人工智能是否可以真的去判决人类，我真的就写过一个这样的法庭的故事。人工智能误判了人类，它从外在看都是这样的，但其实内在是不对的。那这样的一个故事，就是从我读的一些人工智能的原理里得来的灵感。所以想要写关于未来的故事，本身就应该多去学一些这些前沿的科学。

很希望大家都能够继续来看我们这样的节目，然后也希望给到大家更多的灵感，对于未来多很多很多的想象力。谢谢二位。