呼吁停止开发 AI 背后，如何让机器和人对齐价值？

【主播的话】

这期节目录制于三月初，没有想到短短一个月过去，人工智能领域就发生了如此多的变化。有上千位业界大佬已经开始呼吁全球的主要实验室暂停开发比GPT-4大模型更强的系统，他们担忧，这场技术狂飙正在把人类带向一个高度不确定的未来。

然而，我们在谈论一个技术问题时，没有哪个技术完全只关于技术，它背后涉及到人类价值观对它产生的影响。并且，这个风险最终还是取决于人类社会自己的选择。在大多数人正在关注人工智能给全世界带来的颠覆性改变之时，我们这期节目想从技术的角度谈一谈研发超强的人工智能系统的潜在风险：如果一个在各个方面都超越人类智力水平的AGI（通用人工智能）出现了，但Ta并不理解、亦不共享人类社会的基本共识，那么会发生什么？对此，我们现在能做什么准备？

本期节目我们邀请到了苏黎世联邦理工大学人工智能方向的博士生陈欣Cynthia，她将和主播治霖一起聊聊她投身于的一个新兴领域——人工智能价值对齐（AI Alignment），以及分享她从一名商科学生转为人工智能专业的博士生的学思历程。

如果你对本期节目感兴趣，欢迎给我们留言，期待在评论区与你们互动：）

【主播】
李治霖
公益盒子联合创始人兼研究总监，香港大学政治学和经济学专业。

【嘉宾】
陈欣 Cynthia
苏黎世联邦理工大学（ETH Zurich）人工智能方向博士生

【本期剧透】

05:51 读过文科、商科，Cynthia 怎么走上 AI 这条路的
13:43 同为港大的学生，治霖与 Cynthia 相识于公益
15:42 接触捐赠，参与有效利他的学生社团与 Cynthia 进入 AI 之间有什么样的关联
25:01 了解到公益和捐赠有效性的叙事之后，Cynthia 对AI的认识有什么变化？
37:49 梳理两种我们现在理解 AI 风险的方式
44:31 AI 的安全性研究历程，以及不同观点之间的争议
 55:54 播客名“脆弱世界”跟 AI 也有一定的关系
58:11 真正具有很强能力的人工智能还是需要依靠巨大量的算力
01:08:08 思考未来人工智能的时候，暂时不会讨论他在取代人类情感需求的部分
01:17:38 Cynthia 对于技术的发展会持稍微乐观的态度
01:26:10 没有哪一个技术是真正纯技术性的，风险最终还是取决于人类自己。
01:31:55 谈谈机器和人的价值对齐这方面的工作
01:41:32 如何训练 AI，很多的灵感是来自我们如何训练人类小孩，如何训练狗
01:50:02 AI 领域，以减少长远未来的风险为出发点来这样考虑问题的学者其实并不算很多
01:55:56 目前的教育系统分科过于严重，技术人才本身也需要掌握社会科学知识

【相关延展】

陈欣Cynthia的个人网站：
https://www.xccyn.com/

“呼吁暂停训练比GPT-4更强AI系统至少6个月”的公开信：https://futureoflife.org/open-letter/pause-giant-ai-experiments/

OpenAI：
在美国成立的人工智能研究公司，核心宗旨在于“实现安全的通用人工智能(AGI)”，使其造福人类。2015年，OpenAI由马斯克、美国创业孵化器Y Combinator总裁阿尔特曼、全球在线支付平台PayPal联合创始人彼得·蒂尔等硅谷科技大亨创立。

目标的错误泛化（GMG, Goal MisGeneralisation）：
智能体无意识地追求一个用户不想要的目标。

目标的错误定义（Goal MisSpecification ）：
人类的真正意图非常难用精确的数学语言去把它定义出来。

“脆弱世界假设”的相关论文（Vulnerable World Hypothesis by Nick Bostrom）：
https://www.researchgate.net/publication/335661141_The_Vulnerable_World_Hypothesis

AGI：即Artificial general intelligence的简写，专指通用人工智能。指的是在人类智能所有方面都达到人类水平，能够自适应地应对外界环境挑战，完成人类能完成的所有任务的人工智能。亦称人类水平的人工智能 (Human Level AI)。

超人智能（Super-intelligence）：在人类智能所有方面都已经超越人类的通用人工智能。

RLHF（reinforcement learning from human feedback）：使用强化学习的方法，利用人类反馈的信号直接优化语言模型。

人工智能风险与对齐领域的相关推荐书目：

1. 《AI新生》，作者斯图尔特·罗素，适合有技术背景的读者了解人工智能安全与风险领域的种种问题。
2. 《生命3.0》，作者迈克斯·泰格马克，一本对于人工智能技术演化与潜在影响进行了精彩综述的科普著作。
3. 《危崖》，作者托比·奥德，详细描述了未来人类社会可能面临的生存性风险（包括人工智能！），以及我们当下能对此做些什么。

【本期音乐】
片头：Perturbator - Miami Disco
片尾：Daft Punk - Something About Us

【Logo设计】Yibao
【制作人】若含
【运营和文字】卓然
【后期制作】唐一维
【互动方式】
关于我们：公益盒子致力于分析、推荐中国最有社会价值的公益项目，提升公益捐赠的有效性。

如果你喜欢我们的对话，欢迎你关注我们的微信公众号（ID：thecharitybox）和微博（益盒 CharityBox）。你可以在公众号里查看益盒的最新研究和动态，了解有效公益的前沿知识，并加入一个富有善心和理性的公益社区。

我们还运营着“ [益盒基金](https://www.lianquan.org/CAS_CASRealLogin;jsessionid=9CEA870C0E0EFD0BA88C417B782E20EC-n2.tomcat-www2?casTgc=TGT-52696-4IrDxXG2TSQfurIwdcTk5zVcJvmfTsauyQFdzmngpYCroeiedS-lianquan.org) ”，每年投入数千小时，基于科学，通过严谨的研究评估，帮你最有效地为公益项目捐款。你可以在 [这里](https://mp.weixin.qq.com/s/LMS5olWnEf-E8p7UGIBglg) 了解更多。
我们期待与你一起，有效地利他：）