【知道SET】他们分析了1000份论文，决定挑战人工智能面部识别

面部表情真的可以传达情绪吗？当有人这么问你，你可能会觉得这不是明摆着的吗？当然能！但是如果我们把各种各样的面部表情全都拍下来给你看，在排除了其它的因素的前提下，只看这些神态各异的照片，你还能有这份自信去分辨他们所表达的情绪吗？

带着同样的问题，心理学家 Rachael Jack 在2018年招募了80个人进行了这场测试。事实上，让不同的人群去解读别人的面部表情，这种测试已经进行了数十年。早在上世纪60年代，一位来自美国的，名叫Paul Ekman的心理学家发现，无论你来自哪里，文化背景如何，都能从面部表情看出对方的情绪。

这种观点在几十年里从未受到挑战，但是仔细想想好像又不太对，新一代的研究者认为，面部表情在不同情景和文化中有着截然不同的意义。比如，Jack 的研究发现，虽然西方人和东亚人对于表示痛苦的面部表情有着相似的认识，但是他们对于哪种表情表达愉悦的看法却并不一致。

我们的面部有43块肌肉，每一个微小的变化都会成为构成某种情绪表达的“明显因素”，这些表达影响着别人对我们的评价，进而也影响着我们的生活。如果能够通过面部表情识别心理活动，可想而知这背后有着多大的利益。

这使得企业与政府迅速成为了面部表情可以轻松解读，这一论点的消费者，西方的许多司法系统里，读取被告人的情绪就是公平审判的一部分。美国最高法院大法官 Anthony Kennedy 曾在 1992 年写道，这么做对于“了解罪犯的心灵和思想”是很有必要的。

Paul Ekman 本人，也曾为美国运输安全管理局（TSA）设计了一个备受争议的培训项目，该项目于 2007 年启动，其核心就是解读情绪。项目名为“旅客筛查观察法” （Screening Passengers by Observation Techniques，SPOT），主要目的是训练 TSA 的人员监控旅客身上出现的数十种可疑迹象，这些迹象可能反映了他们焦虑、欺骗和害怕的情绪。

该项目遭到了科学家、美国国会议员以及美国公民自由联盟等民间组织的广泛质疑，他们指责这种做法并不准确，还会带来种族偏见。

现在，很多科技公司也秉持着这一观点开发出了“情绪识别软件”。一些正在测试，一些已经投入使用，应用范围包括评估求职者和岗位的匹配度，测谎，让广告更有吸引力，还能检测痴呆症到抑郁症等一系列疾病。

这个估值高达数百亿美元，微软、IBM、亚马逊等互联网巨头齐聚首的产业，其背后的理论却建立在了一个不牢靠的基础上，你以为瑞幸的股票事件叫万恶的资本？抱歉，这种影响人类基本利益的项目才叫“万恶的资本”。

虽然有一些研究者仍在苦苦争辩将这些情绪识别技术投入使用还为之过早，但显然没有一家公司愿意停下自己的步伐，从事相关研究的俄亥俄州立大学研究者 Aleix Martinez 表示，人的面部表情是很难解读的，哪怕对人类自己来说都是如此。他说，考虑到这一点，再结合当前万物皆可自动化的趋势，“我们应该感到担心。”

虽然我们人类天生就拥有丰富的“颜艺”，每个人都是超越表情包的存在，但科学家们一直都相信，特定表情能够对应特定的情绪。

这种观点的支持者中就有大名鼎鼎的达尔文。他1859年出版的《物种起源》绝对是一本伟大的著作，但1872出版的《人类和动物的情感表达》却循规蹈矩的多。

他认为，灵长类动物和人类的面部表情所表达的情绪有着“共通之处”也就是说这些表情可能有着固定的功能。噘嘴、皱鼻，挤眉弄眼这种表达了厌恶情绪的表情，之所以会存在可能是为了抵抗有害的病原体，随着社会的形成，它们变成了用来沟通的社会行为。

达尔文关于情绪的论述中囊括了大量摆拍的表情，比如这些努力模仿痛苦的受试者。来源：Alamy

Paul Ekman 在自己的研究中心不断地印证着达尔文的猜想，60年代，他展开了针对6种情绪的面部表情的跨文化研究，分别是快乐、悲伤、愤怒、害怕、惊讶和厌恶，从城里人到远离现代社会的部落，研究结果支持了达尔文进化论引申出的表情普适论。后来的研究则证明了某些面部表情具有适应性优势。

之所以会挑选着6种情绪，Ekman表示，因为一些情绪，比如羞耻和内疚并没有外显的表情，而所选用的的这六种情绪是有表情的，因此可以作为研究对象使用。

但是这些研究的背后却存在着一个尚有争议的“老观念”，我们的表情是一种强制性的行为，也就是说我们无法通过面部表情隐藏情绪，但相信任何一个“社会人”都不会同意这种观点，虽然不是影帝，但人们确实能伪造情绪，也可以让情绪不写在脸上。Ekman 这一派的学者也承认，每种情绪的表情并没有一个所谓的“金标准”。

来猜猜他们现在的情绪是啥？

越来越多的研究者提出，情绪对应的表情范围太大，以至于金标准的概念几近分崩离析。他们用一篇大型综述支持了这个观点。几年前，期刊《公共利益心理科学》（Psychological Science in the Public Interest）的编辑邀请了一些观点互斥的作者组成专家团，完成了这篇综述。

领导此次合作的 Barrett 表示：“我们竭尽所能摒弃先见。”他们没有事先树立假设，而是直接从数据着手。她说：“观点不统一的时候，我们就去寻找新的证据。”最后，他们阅读了约 1000 篇论文，历经 2 年半的研究，得出了一个很明显的结论：没有证据，或很少有证据能证明，人们可以从各种面部动作推测某人的情绪状态。

这些研究者甚至引用了一些证明面部动作和内在情绪无关的研究。英国德蒙福特大学的心理学家 Carlos Crivelli 曾经研究过巴布亚新几内亚的特罗布里恩群岛的居民，他并没有发现能支持 Ekman 观点的证据。Crivelli 的结论是，从外在表现推测内在的心理状态，就犹如用尺子在称重量，说白了就是连衡量标准本身都不对，怎么能测出正确的结果呢？

证明表情普适性的证据不足的另一个原因是，人脸只提供了部分信息。其他信息，比如身体动作、个性、声调以及脸色变化，在我们识别和表达情绪的过程中也起到了重要的作用。就好比情绪变化会影响血流量，血流量又会影响脸色。Martinez 和同事发现，人们能够发现脸色变化和情绪之间的关系。而背景一类的视觉信号也能提供识别情绪状态的线索。

再看看，是不是情绪不太一样了呢？

其他研究者指出，对 Ekman 的结论的反扑有些过头了。Ekman 本人深以为然。2014 年，他在对 Barrett 的批评的回应中指出，有大量的研究支持他先前的结论，包括证明了面部会自发做表情的研究。还有研究发现了表情与大脑以及身体状态之间的联系。他在回应中称，这些研究说明面部表情不仅反映了人的情绪，也反映了神经生理活动的模式。他说自己的观点并没有改变。

在加拿大不列颠哥伦比亚大学的心理学家 Jessica Tracy 看来，那些认为 Ekman 的表情普适论有错的人给出的证据不过是一小簇反例，他们有些夸大其词了。

她认为，即使不同群体或文化对愤怒表情的理解略有偏差，但也不能推翻整个理论。大多数人一看就知道这是一张愤怒的脸，她引用了一项对 100 个研究进行的分析。她说：“有大量其他证据证明，全世界大多数文化的大部分人都认为这个表情是通用的。”

Tracy 和其他 3 位心理学家认为，Barrett 在文献综述里称他们是将六种情绪刻板地与面部动作一一对应，这种解读有点夸张了。其中一位作者，阿姆斯特丹大学的 Disa Sauter 表示：“我不认为情绪科学领域还有其他研究者赞同她的观点。”

Sauter 和 Tracy 认为，要解读面部表情就需要对情绪进行更复杂的分类。研究者不应把快乐视为单一的情绪，而要把它继续细分；快乐下面还包括高兴、愉悦、怜悯、自豪等等。这些情绪的表情可能会有差异或重叠。

山图为一些研究使用计算机生成随机的表情。Rachael Jack 在 2018 年开展的一项研究中，参与者需要指出每张脸与他们心目中对痛苦或高潮的定义的符合程度。来源：C. Chen et al./PNAS (CC by 4.0)

这场争议的核心其实在于对显著的定义。在一项研究中，参与者需要从六个情绪标签中选择一个来描述他们看到的人脸。一些研究者可能认为，如果某个表情被选择的几率大于 20%，那就说明这个表情的通用性较为显著。

其他人觉得 20% 的标准太宽松了。Jack 认为 Ekman 的阈值过低，她在读博期间读过 Ekman 早期的论文，她说，“我总是去找我的导师，给他看这些 60、70 年代的图表，每个图表在文化认识上都存在巨大差异。到今天为止，依然没有数据能证明，对情绪的认可是放之四海皆准的。”

即使不考虑显著性，研究者还要面对主观性的问题：许多研究都需要事先为情绪贴标签，以便在实验结束后进行比较。因此，Barrett、Jack 以及其他学者想用更为客观的方法来研究情绪。Barrett 正在研究生理指标，她希望用这类指标来描述愤怒，害怕和愉悦。

Jack 则用计算机随机生成的表情来替代摆拍的面部照片，避免局限于最常见的六种情绪。还有研究人员让参与者自己来对人脸进行分类，或者让来自不同文化的参与者用自己的母语给照片做标记。

软件企业则避免让算法进行自由联想。一般来说，情绪识别的人工智能算法需要学习数百万张人脸图像以及数百小时的视频——每个情绪都被标好了标签，再从这些资料中习得模式。Affectiva 表示公司已经用来自 87 个国家超过 700 万张人脸对软件进行了训练，目前其情绪识别准确率已经达到了 90%。

该公司拒绝透露算法背后的科学依据。Neurodata Lab 公司意识到了面部在情绪表达上的差异，但指出：“如果某人正在经历某种情绪，某些面部表情出现的可能性会高于随机概率。”而该公司的算法利用的正是这种规律。而意见尚不统一的研究人员，不管站哪边，都对这类软件持怀疑态度，无论是对训练算法所使用的数据存在担忧，还是认为该领域目前仍未有定论。

Ekman 说他曾直截了当地挑战过这些公司的说法。他曾写信给数家公司，但拒绝透露公司名称，只说“它们都是世界上最大的软件公司”，并向它们索要能证明其自动化技术有效的证据，但没有得到回音。他说，“在我看来，他们的理论并没有证据支持。”

Martinez 折衷地表示，自动化情绪识别或许能代表某个群体的平均情绪反应。Affectiva 公司曾把软件卖给营销机构和某些品牌，帮助他们预测特定消费者对某个产品或营销手段的反应。

即使这个软件出错也不会有太大的影响，顶多广告的效果不如预期而已。但是，一些算法的应用却可能改变人们的命运，比如面试和边境检查。去年，匈牙利、拉脱维亚和希腊试用了一个旅客预筛查系统，通过分析面部微表情来测谎。

想要平息这场情绪-表情的争论，需要动用不同的研究手段。Barrett 常常受邀给科技公司展示她的研究，不久前刚去了微软。她认为研究者要践行达尔文撰写《物种起源》时的做法：“观察、观察、再观察。”观察人们在现实生活如何通过面部和身体传达信息，而不仅仅只在实验室里。然后再用机器来记录和分析来自真实生活的影像。

Barrett 认为更多的数据和分析技术，而不是回顾陈旧的数据和实验，才能帮研究者获得新知识。对于这个她和其他研究者看来站不住脚的科学，许多科技公司却跃跃欲试，她向这些企业发出了挑战：“我们已经到了悬崖口，人工智能企业到底是要继续使用漏洞百出的研究假设，还是去做应该完成的事呢？”

纵观历史，或许大多数人的心中早就已经有了答案。

栏目简介

知·道SET(Science,Education,Time)是一档综合科普栏目，内容包含天文、数学、物理、化学、地球、生命等学科，提供多视角，跨学科的科普内容，让更多人提升对科学的认知和兴趣。发现新知的同时，以科学的态度看懂身边事。

关注我们/收听节目

喜马拉雅FM搜索：知道SET

微博/微信搜索：知道朝歌文化