ChatGPT在做什么 第16章论文一的总结（本书含两篇论文

ChatGPT在做什么 第16章所以，ChatGPT在做什么，为什么它好使? So ... What Is ChatGPT Doing, and Why Does It Work?

ChatGPT的基本概念在某种程度上相当简单。从网络、书籍等大量人类创造的文本样本开始。然后训练神经网络生成“像这样”的文本。特别是，让它能够从“提示”开始，然后继续使用“像它被训练过的那样”的文本。正如我们所看到的，ChatGPT中的实际神经网络是由非常简单的元素组成的——尽管有数十亿个元素。神经网络的基本操作也非常简单，基本上包括对它生成的每个新词(或单词的一部分)传递从迄今为止生成的文本派生的输入“一次通过其元素”(没有任何循环等)。但值得注意的是，出乎意料的是，这个过程可以成功地“像”在网络上，在书中，等等。它不仅是连贯的人类语言，它还利用它“阅读”的内容“按照提示”“说一些事情”。它并不总是说“全局有意义”的事情(或与正确的计算相对应)——因为(例如，没有访问Wolfram|Alpha的“计算超能力”)它只是根据训练材料中“听起来像”的事情说“听起来正确”的事情。ChatGPT的特定工程使其非常引人注目。但最终(至少在它可以使用外部工具之前)ChatGPT“只是”从它所积累的“传统智慧的统计数据”中抽出一些“连贯的文本线索”。但令人惊讶的是，实验结果与人类非常相似。正如我所讨论的，这表明了至少在科学上非常重要的事情:人类语言(及其背后的思维模式)在结构上比我们想象的更简单，更“像法律”。ChatGPT已经隐式地发现了它。但是我们可以潜在地显式地公开它，使用语义语法、计算语言等。ChatGPT在生成文本方面所做的工作令人印象深刻——其结果通常非常类似于我们人类生成的文本。那么这是否意味着ChatGPT像大脑一样工作呢?其潜在的人工神经网络结构最终是基于大脑的理想化模型。很有可能当我们人类产生语言的时候很多方面都是相似的。当谈到训练(又名学习)时，大脑和当前计算机的不同“硬件”(也许还有一些未开发的算法思想)迫使ChatGPT使用一种可能与大脑相当不同的策略(在某些方面效率要低得多)。还有一些其他的东西:甚至不像典型的算法计算，ChatGPT内部没有“循环”或“重新计算数据”。这不可避免地限制了它的计算能力——即使相对于目前的计算机，但绝对相对于大脑。目前还不清楚如何“解决这个问题”，并仍然保持以合理的效率训练系统的能力。但这样做可能会让未来的ChatGPT做更多“类似大脑的事情”。当然，有很多事情大脑做得不是很好——特别是涉及到不可约计算。为此，大脑和ChatGPT都必须寻求“外部工具”，比如Wolfram语言。但现在，ChatGPT已经能够做到的事情还是令人兴奋的。在某种程度上，这是一个很好的例子，证明了一个基本的科学事实，即大量简单的计算元素可以做非凡的和意想不到的事情。但它也可能为我们提供了两千年来最好的动力，让我们更好地理解人类环境的核心特征，即人类语言及其背后的思考过程的基本特征和原则。