《如何创造可信的AI》：谷歌为何输掉ChatGPT首战？AI会犯哪些错误？

人工智能大牛绘制的AI未来发展路线图。

精选笔记 

本书的作者是美国人盖瑞•马库斯和欧内斯特•戴维斯，两位都是纽约大学的教授，也是人工智能领域的一流专家。马库斯还是两家人工智能公司的首席执行官和创始人。

一、 AI技术会犯什么错误，有哪些局限性？

2016年，一名特斯拉车主启动了自动巡航系统后，便沉湎在电影《哈利波特》之中，一辆白色的箱车违反交通规则，企图横穿高速公路调头，自动巡航系统不能分辨前方的白色物体是什么，一再提醒车主转入人工驾驶，但车主没有意识到系统的提示，汽车一头扎进了箱车的车底。2017年，不少医院停止了与IBM的合作，因为沃森给出的一些建议“不安全、不正确”，甚至“结果无法接受”。鉴于沃森的遭遇，Facebook的M计划也在2018年叫停。

为什么人工智能答题和下棋那么厉害，而在开车、疾病诊断、居家服务上就不行了呢？

目前在AI成功的例子中，设计初衷都限定在狭隘的专业领域内，例如沃森在电视比赛中回答的只是针对性的问题；Alpha Go更是局限在19X19的棋盘内。这些AI是狭义的AI，不是广义的AI。广义的AI是通用的人工智能，有能力灵活地适应疆域无限的世界，能够综合各方面的信息做出判断，因此，开拓可以信赖AI的关键，是要在人类心智的内在结构中寻找线索。

从应用者的角度看，存在过度信任AI的风险。

从设计者角度看，追求完美的愿望会给AI的应用带来风险。设计者过分控制的欲望也会带来隐患。此外，设计目标偏差也会带来风险。

更多的风险来自AI技术本身。所有的AI设备或软件都必须经过训练才能使用。训练有两种，一种由设计者训练好再交付用户，另一种是让用户自行训练，以契合用户的不同需求。几乎所有事先训练好的设备都有很强的针对性，从而导致过度依赖数据，不能适应环境变化，一旦环境出现异常，就会失去控制能力。

很多人将规避这些风险寄托在深度学习上。然而，深度学习真的能解决这些问题吗？

深度学习可以追溯到误差反向传递算法和分层模式识别。误差反向传递算法简称BP算法，是20世纪70年代提出的人工神经网络的算法。这种算法首先利用输出信号与理想信号之间的偏差来调整最后一层神经元的权值，然后再调整前一层神经元的权值，权值调整逐层向输入层发展。因为顺序是从输出端到输入端，因此叫反向。

分层模式识别是生理学家大卫• 休伯尔和托尔思滕• 维泽尔发现的一种生理现象，他们发现不同的视觉神经元在图像识别中担任不一样的角色，有的辨识轮廓，有的辨识内容，而识别复杂内容的过程要由多个神经元协调完成。后人将这种多层结构引入了神经网络，还将图像识别中非常有效的卷积算法用来完成计算，神经元功能分层与卷积算法极大地减少了权值修正时间，加快了收敛速度。

首先，要得到成功的应用，深度学习系统必须经过大量的学习，也就是说训练样本必须充分。然而在很多实际应用中很难找到那么多的训练样本，样本一少就会影响系统的工作成效。

其次，对于深度学习的系统，我们不清楚网络是怎样产生这个结果的。如果网络识别有误，我们就很难找到产生错误的原因。

第三，深度学习的识别能力是脆弱的，它非常容易受骗。

二、构建可信任AI的一些建议。

第一个建议是，AI技术想要进一步发展，可以从认知科学得到启示。这些启示可以归纳成三类：来自人类认知基础的启示、来自人类认知手段的启示和来自人类认知模型的启示。

人类认知的基础。人类的认知来自遗传。作者认为，人的基因里带有先天的认知和融合能力。现代脑科学认为，与一生下来就会走路的生物不同，人类在出生之际，大脑发育是不成熟的，婴儿出生后大脑继续发育，但是这部分发育与他后天的经历无关，而仅仅取决于个体基因。目前机器学习研究很少关注与生物领域和心理领域的互动。

人类认知的手段。人类的认知是高度结构化的，人类认知过程至少可以分为两类系统，一类可以称为快系统，这类系统处理不需要经过大脑思考直接就会发生的反应；另一类可以称为慢系统，需要经过思考，从分析和推断中产生应对方案。在人类的认知过程中，这两类系统几乎是同时工作的，但也会分别进行，是根据实际需要调节的。除了高度结构化的认知系统，人类在认知过程中还会对人或事的演化进行跟踪。

此外，人类在认知过程中会自觉地采用抽象、归纳等思想方法，通过抽象和归纳可以加深对事物的认识。人类在认知过程中广泛使用语言，而人工智能的学习更多的是文字或数据，在通常情况下，语言可以比文字表达更多和更复杂的信息。

人类认知的模型。人类的认知模型通常是因果模型，而人工智能模型多数是依赖相关关系的；人类对于事物的认识常常是依赖环境的，而人工智能对于事物的认识常常是固定的。

第二个建议是应该让人工智能了解人类的常识，变深度学习为深度理解。

第一个框架是以时间进展为线索。任何事件都与时间相关，记录先做什么再做什么。如倒酒，先开瓶盖再倒酒，叫顺序；而对于救火，先救室内被困的活人，再救困在树上的小猫，这叫缓急。现在已经制定了一套形式逻辑系统，可以用计算机能懂的语言将情景与随着时间的变化发展描述出来。

第二个框架是以空间和事物的形状为线索。现代计算机图形学已经能够通过光线处理将一个复杂环境中的各个物体准确地描述和区分。因而一些静态的物体比较容易处理，困难的是一些可变的物体，例如网袋。

第三个框架是以因果关系为线索。广义地说，因果关系包含世界上随着时间变化的一切知识，这些知识可以是通用的、也可以是特定的。因果关系是有时间顺序的，应用的时候可以从因推断出果，也可以从果反过来断定因。

书名：《如何创造可信的AI》

作者： [美] 盖瑞•马库斯  [美] 欧内斯特•戴维斯

解读人：韩正之（上海交通大学教授、博士生导师、研究生院原常务副院长）

主播：路琨

总编辑：左宓

制作：匀绮工作室

监制：郑之艺

总编辑：左宓