ChatGPT在做什么 第15章语义语法与计算语言的力量

ChatGPT在做什么 第15章语义语法与计算语言的力量Semantic Grammar and the Power of Computational Language
什么是语义语法Semantic Grammar？举2个例子
语义语法（Semantic Grammar）是一种语言分析方法，它旨在描述语言中单词之间的意义关系。语义语法通常是基于语言学理论的，包括语义学、语用学和句法学等。它可以帮助我们理解一个句子的意义，而不仅仅是其表面结构。
以下是两个例子：
在一个简单的语义语法分析中，可以看到下面这个句子：
"John bought a red car."
在句子中，"John"是主语，"bought"是动词，"car"是宾语。但是，语义语法分析会注意到，"red"是描述词，它与"car"的关系不仅仅是定语的关系，它是用来形容"car"的颜色，因此应该归类为形容词性的成分。
另一个例子是：
"The cat is on the mat."
在这个例子中，"cat"和"mat"是名词，"is"是动词，"on"是介词。但是，语义语法分析会注意到，"on"是用来描述"cat"和"mat"之间的空间关系的，因此它应该归类为介词短语。

什么是计算语言Computational Language？举3个例子
计算语言（Computational Language）是指将自然语言与计算机科学结合起来的研究领域。它旨在开发算法和技术，以便计算机可以理解、生成和处理自然语言文本。计算语言广泛应用于自然语言处理、机器翻译、信息检索、语音识别等领域。以下是三个计算语言的例子：
机器翻译：机器翻译是计算语言中的一个重要领域，它旨在使用计算机将一种语言翻译成另一种语言。最近几年，深度学习技术的进步使得机器翻译的质量有了显著提高。例如，谷歌翻译和百度翻译等在线翻译工具都使用了深度学习技术。
情感分析：情感分析是一种自然语言处理技术，它可以自动识别和提取文本中的情感信息。情感分析可以用于分析社交媒体、产品评论、客户反馈等大量文本数据。例如，当人们在社交媒体上发布有关某个品牌的内容时，情感分析可以帮助品牌管理人员了解用户对品牌的情感反馈。
语音识别：语音识别是一种计算语言技术，它可以将人类语音转换成文本形式。语音识别技术广泛应用于智能音箱、智能手机、智能汽车等智能设备。例如，苹果公司的Siri和亚马逊公司的Alexa都使用了语音识别技术。

怎样才能产生“有意义的人类语言”?在过去，我们可能认为它就是人类的大脑。但现在我们知道，ChatGPT的神经网络可以很好地完成这一任务。尽管如此，也许这是我们所能做到的，没有什么更简单或更容易被人类理解的方法可以奏效。但我强烈怀疑，ChatGPT的成功含蓄地揭示了一个重要的“科学”事实:有意义的人类语言实际上有比我们所知道的多得多的结构和简单性——最终甚至可能有相当简单的规则来描述如何将这些语言组合在一起。【简单】正如我们上面提到的，句法语法给出了在人类语言中对应于不同词性的单词如何组合在一起的规则。但要处理意义，我们需要更进一步。有一种说法是，不仅要考虑语言的句法语法，还要考虑语义语法。为了语法的目的，我们区分名词和动词。但为了语义的目的，我们需要“更精细的层次”。因此，例如，我们可以识别“移动”的概念，以及“保持其身份与位置无关”的“对象”的概念。每一种“语义概念”都有无数的具体例子。但是为了我们语义语法的目的，我们只会有一些一般的规则，基本上说“对象”可以“移动”。关于这一切是如何工作的，有很多要说的(其中一些我之前已经说过了)。但在这里，我只想说几句话，指出一些潜在的前进道路。值得一提的是，即使一个句子在语义语法上是完全OK的，但这并不意味着它在实践中被实现了(甚至可能被实现)。“大象去了月球”无疑会“通过”我们的语义语法，但它肯定还没有(至少还没有)在我们的现实世界中实现——尽管这对于一个虚构的世界来说是绝对公平的游戏。当我们开始谈论“语义语法”时，我们很快就会问“它下面是什么?”它假设的“世界模式”是什么?句法语法实际上就是从单词中构造语言。但是语义语法必然涉及到某种“世界模型”——某种作为“骨架”的东西，在其之上，由实际单词构成的语言可以被分层。直到最近，我们可能还以为(人类)语言将是描述我们的“世界模式”的唯一通用方式。早在几个世纪前，就已经有了特定事物的形式化，尤其是基于数学。但是现在有一种更通用的形式化方法:计算语言。是的，这是我40多年来的大项目(现在体现在Wolfram语言中):开发一种精确的符号表示，可以尽可能广泛地谈论世界上的事物，以及我们关心的抽象事物。例如，我们有城市、分子、图像和神经网络的符号表示，我们有关于如何计算这些东西的内在知识。经过几十年的工作，我们已经用这种方法覆盖了很多领域。但在过去，我们并没有特别处理“日常话语”。在“我买了两磅苹果”中，我们可以很容易地表示(并对其进行营养和其他计算)“两磅苹果”。但我们(目前)还没有“我买了”的象征性表示。

什么是Wolfram语言？举3个例子

这一切都与语义语法的思想有关，其目标是为概念提供一个通用的符号“构建工具包”，这将为我们提供什么可以与什么相匹配的规则，从而为我们可能转化为人类语言的“流”提供规则。但假设我们有这种"象征性话语语言"我们要用它做什么?我们可以从生成“本地有意义的文本”开始。但最终我们可能想要更多“有全球意义”的结果——这意味着“计算”更多关于世界上实际存在或发生的事情(或者可能在某个一致的虚构世界中)。现在在Wolfram语言中，我们有大量关于各种事物的内置计算知识。但对于一个完整的符号话语语言，我们必须建立关于世界上一般事物的额外“演算”:如果一个物体从a移动到B，又从B移动到C，那么它就从a移动到C，等等。给定一种象征性话语语言，我们可以用它来做“独立的陈述”。但我们也可以用它来问关于世界的问题，“Wolfram|Alpha风格”。或者我们可以用它来描述我们“想要这样做”的事情，假设有一些外部驱动机制。或者我们可以用它来做出断言——也许是关于现实世界，也许是关于我们正在考虑的某个特定世界，虚构的或其他的。人类语言本质上是不精确的，尤其是因为它没有“绑定”到特定的计算实现，它的意义基本上只是由用户之间的“社会契约”定义的。但是计算语言，就其本质而言，具有某种基本的精确性——因为最终它所指定的内容总是能够“在计算机上明确地执行”。人类语言通常会有一定的模糊性。(当我们说“行星”时，它是否包括系外行星等等?)但在计算语言中，我们必须精确和清楚地区分我们所做的所有区分。在计算语言中使用普通的人类语言来命名通常是很方便的。但是它们在计算语言中所具有的意义必然是精确的——并且可能包含也可能不包含典型人类语言用法中的某些特定内涵。如何找出适用于一般符号话语语言的基本“本体论”?嗯，这并不容易。这也许就是为什么自亚里士多德在两千多年前提出原始概念以来，在这方面几乎没有什么研究。但今天我们知道了很多关于如何计算思考世界的知识，这确实很有帮助(从我们的物理项目和规则的想法中获得“基本形而上学”并没有坏处)。但是这一切在ChatGPT的上下文中意味着什么呢?通过训练，ChatGPT已经有效地“拼凑”了一定数量(相当令人印象深刻)的语义语法。但它的成功让我们有理由认为，用计算语言形式构建更完整的东西是可行的。而且，与我们迄今为止对ChatGPT内部结构的了解不同，我们可以期望设计计算语言，使其易于为人类所理解。当我们谈论语义语法时，我们可以类比三段论逻辑。起初，三段论逻辑本质上是关于人类语言表达的陈述的规则的集合。但是(是的，两千年后)当形式逻辑发展起来时，三段论逻辑的原始基本结构现在可以用来建造巨大的“形式塔”，其中包括现代数字电路的操作。因此，我们可以预期，它将是更一般的语义语法。起初，它可能只能处理简单的模式，比如以文本的形式表示。但一旦它的整个计算语言框架建立起来，我们可以预期它将能够被用来建立“广义语义逻辑”的高塔，使我们能够以精确和正式的方式处理各种我们以前从未接触过的事物，除了在“底层”通过人类语言，以及它所有的模糊性。我们可以把计算语言和语义语法的构建看作是表示事物的一种终极压缩。因为它允许我们谈论可能发生的事情的本质，而不需要，例如，处理存在于普通人类语言中的所有“短语的变化”。我们可以将ChatGPT的强大之处看作是一些类似的东西:因为它在某种意义上也“钻透”到可以“以一种语义上有意义的方式将语言组合在一起”，而不考虑不同的短语可能的转向。那么，如果我们将ChatGPT应用于底层计算语言，会发生什么呢?计算语言可以描述什么是可能的。但是仍然可以添加的是一种“什么是流行的”的感觉，例如，基于阅读所有的

我们可以把计算语言和语义语法的构建看作是表示事物的一种终极压缩。因为它允许我们谈论可能发生的事情的本质，而不需要，例如，处理存在于普通人类语言中的所有“短语的变化”。我们可以将ChatGPT的强大之处看作是一些类似的东西:因为它在某种意义上也“钻透”到可以“以一种语义上有意义的方式将语言组合在一起”，而不考虑不同的短语可能的转向。那么，如果我们将ChatGPT应用于底层计算语言，会发生什么呢?计算语言可以描述什么是可能的。但仍然可以添加的是一种“流行什么”的感觉——例如，基于阅读网络上的所有内容。但是，使用计算语言进行底层操作意味着像ChatGPT这样的东西可以直接和基本地访问用于使用潜在不可约计算的终极工具。这使得这个系统不仅可以“生成合理的文本”，而且还可以预测出文本是否真的对世界做出了“正确”的陈述——或者它应该谈论的任何内容。


ChatGPT在做什么 第16章所以，ChatGPT在做什么，为什么它好使? So ... What Is ChatGPT Doing, and Why Does It Work?

ChatGPT的基本概念在某种程度上相当简单。从网络、书籍等大量人类创造的文本样本开始。然后训练神经网络生成“像这样”的文本。特别是，让它能够从“提示”开始，然后继续使用“像它被训练过的那样”的文本。正如我们所看到的，ChatGPT中的实际神经网络是由非常简单的元素组成的——尽管有数十亿个元素。神经网络的基本操作也非常简单，基本上包括对它生成的每个新词(或单词的一部分)传递从迄今为止生成的文本派生的输入“一次通过其元素”(没有任何循环等)。但值得注意的是，出乎意料的是，这个过程可以成功地“像”在网络上，在书中，等等。它不仅是连贯的人类语言，它还利用它“阅读”的内容“按照提示”“说一些事情”。它并不总是说“全局有意义”的事情(或与正确的计算相对应)——因为(例如，没有访问Wolfram|Alpha的“计算超能力”)它只是根据训练材料中“听起来像”的事情说“听起来正确”的事情。ChatGPT的特定工程使其非常引人注目。但最终(至少在它可以使用外部工具之前)ChatGPT“只是”从它所积累的“传统智慧的统计数据”中抽出一些“连贯的文本线索”。但令人惊讶的是，实验结果与人类非常相似。正如我所讨论的，这表明了至少在科学上非常重要的事情:人类语言(及其背后的思维模式)在结构上比我们想象的更简单，更“像法律”。ChatGPT已经隐式地发现了它。但是我们可以潜在地显式地公开它，使用语义语法、计算语言等。ChatGPT在生成文本方面所做的工作令人印象深刻——其结果通常非常类似于我们人类生成的文本。那么这是否意味着ChatGPT像大脑一样工作呢?其潜在的人工神经网络结构最终是基于大脑的理想化模型。很有可能当我们人类产生语言的时候很多方面都是相似的。当谈到训练(又名学习)时，大脑和当前计算机的不同“硬件”(也许还有一些未开发的算法思想)迫使ChatGPT使用一种可能与大脑相当不同的策略(在某些方面效率要低得多)。还有一些其他的东西:甚至不像典型的算法计算，ChatGPT内部没有“循环”或“重新计算数据”。这不可避免地限制了它的计算能力——即使相对于目前的计算机，但绝对相对于大脑。目前还不清楚如何“解决这个问题”，并仍然保持以合理的效率训练系统的能力。但这样做可能会让未来的ChatGPT做更多“类似大脑的事情”。当然，有很多事情大脑做得不是很好——特别是涉及到不可约计算。为此，大脑和ChatGPT都必须寻求“外部工具”，比如Wolfram语言。但现在，ChatGPT已经能够做到的事情还是令人兴奋的。在某种程度上，这是一个很好的例子，证明了一个基本的科学事实，即大量简单的计算元素可以做非凡的和意想不到的事情。但它也可能为我们提供了两千年来最好的动力，让我们更好地理解人类环境的核心特征，即人类语言及其背后的思考过程的基本特征和原则。


机器学习是一种强大的方法，特别是在过去的十年中，它取得了一些显著的成功——ChatGPT是最新的成功。图像识别。语音到文本。语言翻译。在每一种情况下，以及更多的情况下，都有一个门槛被越过——通常是非常突然的。有些任务从“基本不可能”变成了“基本可行”。但从本质上讲，结果永远不会“完美”。也许某些东西在95%的时间里都是有效的。但无论如何努力，剩下的5%仍然难以捉摸。出于某些目的，人们可能会认为这是一个失败。但关键的一点是，经常有各种各样的重要用例，其中95%是“足够好的”。也许这是因为输出的东西并没有真正的“正确答案”。也许这是因为一个人只是在尝试让人类或系统算法从中挑选或改进可能性。一个拥有几千亿个参数的神经网络一次生成文本一个标记，却能做到ChatGPT所能做到的事情，这是非常了不起的。鉴于这一出人意料的巨大成功，人们可能会认为，如果一个人能够继续“训练一个足够大的网络”，他就可以用它做任何事情。但事实并非如此。关于计算的基本事实——特别是计算不可约性的概念——清楚地表明它最终不能。但更相关的是我们在机器学习的实际历史中看到的情况。将会有重大突破(如ChatGPT)。进步不会停止。但更重要的是，将会发现一些用例，这些用例在可以做的事情上是成功的，并且不会被不能做的事情所阻碍。是的，在很多情况下，“原始ChatGPT”可以帮助人们写作，提出建议，或生成对各种文档或交互有用的文本。但当涉及到建立必须完美的事物时，机器学习并不是做到这一点的方法——就像人类也不是一样。这正是我们在上面的例子中看到的。ChatGPT在“类似人类的部分”做得很好，在这些部分没有精确的“正确答案”。但是当它被“放在现场”做一些精确的事情时，它经常会掉下来。但是这里的重点是有一个很好的方法来解决这个问题——将ChatGPT连接到Wolfram|Alpha和它所有的计算知识“超能力”。在Wolfram|Alpha中，所有东西都被转换成计算语言，并转换成精确的Wolfram语言代码，在某种程度上必须“完美”才能可靠有用。但关键的一点是ChatGPT不需要生成这些。它可以产生它常用的自然语言，然后Wolfram|Alpha可以使用其自然语言理解能力将自然语言翻译成精确的Wolfram语言。在许多方面，人们可能会说ChatGPT从来没有“真正理解”事情;它只是“知道如何生产有用的东西”。但Wolfram|Alpha的情况就不同了。因为一旦Wolfram|Alpha将一些东西转换为Wolfram语言，它就得到了一个完整、精确、正式的表示，从中可以可靠地计算东西。不用说，有很多“人类兴趣”的东西我们没有正式的计算表示——尽管我们仍然可以用自然语言谈论它们，尽管它可能不精确。对于这些，ChatGPT是独立的，具有非常令人印象深刻的功能。

但就像我们人类一样，有时ChatGPT需要更正式和更精确的“力量辅助”。但关键是，它不必“正式而精确”地说出它想要什么。因为Wolfram|Alpha可以用相当于ChatGPT的母语(自然语言)的语言与它进行交流。当Wolfram|Alpha转换为其母语——Wolfram语言时，它将负责“增加形式和准确性”。这是一个非常好的局面，我认为有很大的实际潜力。这种潜力不仅存在于典型的聊天机器人或文本生成应用程序层面。它可以扩展到数据科学或其他形式的计算工作(或编程)。从某种意义上说，这是一种获得两个世界的最佳方式:ChatGPT的类人世界和Wolfram语言的精确计算世界。ChatGPT直接学习Wolfram语言怎么样?是的，它可以这样做，事实上它已经开始了。最后，我完全期待像ChatGPT这样的东西能够直接在Wolfram语言中操作，并且在这方面非常强大。这是一种有趣而独特的情况，因为Wolfram语言是一种全面的计算语言，可以用计算术语广泛地谈论世界上和其他地方的事物。Wolfram语言的整个概念就是把我们人类思考的东西，用计算的方式来表示和处理。普通编程语言的目的是提供一些方法来告诉计算机具体要做什么。Wolfram语言作为一种全面的计算语言，其意义远不止于此。实际上，它旨在成为一种人类和计算机都可以“计算式思考”的语言。许多世纪以前，当数学符号被发明时，它第一次提供了一种“数学思考”事物的流线型媒介。它的发明很快导致了代数，微积分，以及最终所有的数学科学。Wolfram语言的目标是为计算思维做一些类似的事情，尽管现在不仅仅是为人类，而且使计算范式可以打开的所有“计算X”领域成为可能。我自己也从Wolfram语言作为一种“思考的语言”中受益匪浅，在过去的几十年里，通过Wolfram语言的媒介，人们“用计算术语思考”，取得了如此多的进步，这真是太棒了。那么ChatGPT呢?好吧，它也会变成这样。至于这一切将如何运作，我还不确定。但这并不是关于ChatGPT学习如何做Wolfram语言已经知道如何做的计算。它是关于ChatGPT学习如何像人们一样使用Wolfram语言。这是关于ChatGPT提出的“创造性文章”的类比，但现在不是用自然语言而是用计算语言写的。我长期以来一直在讨论由人类撰写的计算论文的概念——它混合了自然语言和计算语言进行交流。现在的问题是ChatGPT是否能够编写这些内容，并且是否能够使用Wolfram语言作为一种传递“有意义的交流”的方式，不仅对人类，而且对计算机。是的，有一个潜在的有趣的反馈循环涉及到Wolfram语言代码的实际执行。但关键的一点是，Wolfram语言代码所代表的“思想”的丰富性和流动性——与普通编程语言不同——更接近于ChatGPT在自然语言中“神奇”地处理的那种东西。或者，换句话说，Wolfram语言——类似于自然语言——是一种足够有表现力的语言，人们可以想象用它为ChatGPT编写一个有意义的“提示”。是的，Wolfram语言可以直接在计算机上执行。但是作为一个ChatGPT提示符，它可以用来“表达一个想法”，这个想法的“故事”可以继续。它可能描述了一些计算结构，让ChatGPT“重复”人们可能对该结构进行的计算描述——根据它通过阅读人类写的这么多东西学到的东西——“对人类来说很有趣”。ChatGPT的意外成功突然开启了各种令人兴奋的可能性。但就目前而言，通过Wolfram|Alpha，可以立即赋予ChatGPT计算知识的超级能力。因此，它不仅能产生“似是而非的类似人类的输出”，还能产生利用Wolfram|Alpha和Wolfram Language中封装的整个计算和知识的输出。