人类应如何提防“有了意识的AI”？中美等28国签署全球首个AI治理宣言

苏茨科维尔

一向低调的Open AI首席科学家伊利亚·苏茨科维尔近日罕见地接受了媒体长篇专访。在采访中他透露，他现在最担心的已经不是如何打造更新更强的大模型，而是担忧如何提防未来必将出现的“超级人工智能”。此前，马斯克、“AI教父”辛顿等人也多次提醒人们注意防范AI带来的风险。

为了应对危机，日前全球主要国家在英国召开了一场AI安全峰会，中国科技部副部长吴朝晖也应邀在峰会开幕式发表演讲。中国、美国等28个国家和欧盟共同签署了《布莱切利宣言》，关注人工智能模型对人类生存构成威胁的担忧。

有媒体评论说，在人类面临AI这一新兴物种的强烈威胁之际，“全球表现得空前团结”。

苏茨科维尔：

AI可能已经有了意识

苏茨科维尔是一名以色列裔加拿大人，他出生在前苏联，但从5岁起就在耶路撒冷长大，会说俄语、希伯来语和英语。早在本世纪初，他就拜师于“AI教父”辛顿，他们的团队从最初级的AI识图软件开始，一步步将当时不被人看好的AI模型的功能推向极限。

苏茨科维尔与老师辛顿早年共同创业

苏茨科维尔自己一直是AGI的信徒，而他对AI技术的信心从一件小事上就可以看出来：

当时苏茨科维尔带领团队在多伦多开发AlexNet，英伟达给他们寄了几块GPU让他们试用。但他们想要的是最新版本的GTX580芯片，但这种芯片在门店里很快就卖光了。根据英伟达CEO黄仁勋的说法，苏茨科维尔从多伦多亲自开车到纽约买到了GTX580。黄仁勋回忆说，“人们为了买芯片在街角排起了长队。我不知道他是怎么做到的——我很确定我们当时的政策是每个人只能买一块芯片，但他显然通过手段装满了一个后备箱的芯片。这满满一箱的GTX580最终改变了AI行业的面貌，改变了世界。”

苏茨科维尔还坦承，他在GPT模型刚推出的时候根本没想到它的功能会如此强大。“最开始我们给它提问，它总会有一搭没一搭地回答，还有很多事实错误。”不过随着训练量的增大，以及数以十亿计的用户反馈之下，GPT模型更新迭代速度远超任何人想象。

苏茨科维尔在采访中还认为，GPT模型已经拥有了自己的意识，尽管可能很轻微。他以量子力学中的“波兹曼大脑”概念举例说，构成AI根基的“神经网络”在活跃的时候也拥有自己的意识，在无人提问的空隙，这些意识也就消失不见了。

苏茨科维尔称，他目前工作的重点不是开发更强的AI模型，而是防范未来强大的“超级人工智能”对人类造成的威胁。在这一步防范工作完成后，他认为一部分人类届时可能会选择与安全的AI相结合，变成AI的一部分，以实现“共同永生”。至于苏茨科维尔是否愿意和AI一起永生，他的回答是，“也许会的”。

马斯克等人警告：

AI未来可能威胁人类生存

在访谈中，苏茨科维尔谈到了AI让他最印象深刻的一幕：当“阿尔法狗”与韩国围棋顶尖高手李世石对弈时，下出了非常古怪的一手棋。在现场的解说员们哗然，以为“阿尔法狗”的运算出了bug，但赛后复盘来看这一手棋堪称制胜妙招，更重要的是在人类历史上留下的棋谱中还从来没有人这样下过。

苏茨科维尔表示，“AI看问题的眼光比人类深刻得多，人类下了几千年的围棋，了解的规律都比AI肤浅。你可以想象当AGI达成时，AI在任何问题上都能像在围棋上领先人类，那会是什么景象。”

苏茨科维尔的老师、“AI教父”辛顿也在今年6月的北京智源人工智能大会上对在场观众表达了担忧。他认为，组成AI的人造神经网络将比人脑更智能，而且这一天的到来要远远早于他原来的想象。75岁的辛顿对在场的年轻科学家们表示，“我已经老了，希望大家能好好研究如何控制比人类更聪明的超级智能。一个不怎么聪明的物种要去控制一个自己发明出来的聪明物种，这在历史上是前所未有的挑战。”

众所周知，世界首富马斯克一直以来也是“AI威胁论”持有者。他曾在纪录片中表示，“在人工智能时代，我们可能给自己创造出来一个永恒不朽的独裁者。在过去，至少希特勒和墨索里尼这样的凡人能力有限，他们的作恶多端也有极限”。马斯克还称，如果未来人类碰巧挡在了AI实现既定目标的道路上，AI会像“踩死蚂蚁”一样碾压过人类的尸体。

AI治理已在行动：

28国签署全球首个AI治理宣言

面对科学界普遍的担忧，11月1日，首届全球人工智能安全峰会在英国布莱切利庄园拉开帷幕。在开幕式上，包括中国在内的28个与会国共同签署的《布莱切利宣言》正式发表，这也是全球首个关于AI治理的共同宣言。

吴朝晖在AI安全峰会发言

据新华社报道，中国科技部副部长吴朝晖在开幕式上发表了演讲。中方指出，人工智能治理攸关全人类命运，是世界各国面临的共同课题。发展人工智能，应当积极倡导以人为本，智能向善，加强技术风险管控，并在相互尊重、平等互利的原则基础上，鼓励各方协同共治，增强发展中国家在人工智能全球治理中的代表性和发言权，不断弥合智能鸿沟和治理能力差距。中方愿与各方一道就人工智能安全治理加强沟通交流，为推动形成普遍参与的国际机制和具有广泛共识的治理框架积极贡献智慧，切实落实全球发展倡议、全球安全倡议和全球文明倡议，促进人工智能技术更好造福人类，共同构建人类命运共同体。

在峰会上，美国商务部长吉娜·雷蒙多宣布成立一个新的人工智能安全研究所，该所将隶属于商务部的国家标准与技术研究院。雷蒙多说，该组织的目标是与其他政府设立的其他人工智能安全组织密切合作，并透露英国也计划建立AI安全研究所。“我们必须开始工作，我们的政府机构之间也必须开始努力，以便在全球范围内实现政策一致”。

英国科学、创新和技术部的信息显示，本次峰会邀请了约100名各国官员、人工智能企业代表和专家。美国、中国、日本、德国、印度等20多个国家的政府代表，以及联合国、经合组织、国际电信联盟等多个国际组织的代表参会。另有超过80个学术机构、企业和协会组织代表参会。

据环球时报和新华社等报道，中国于上周接受了英方的参会邀请，与吴朝晖一道与会的还有来自中国外交部、企业和学术机构的代表。中国科学院、中国腾讯公司、阿里巴巴公司也出席了这次会议。

有媒体称，“这是全球罕见的团结表现”。负责组织此次峰会的英国官员克利福德称，此次峰会标志着英国尤其是首相苏纳克的外交成功。