ChatGPT在做什么 第14章意义空间与运动的语义规律

ChatGPT在做什么 第14章意义空间与运动的语义规律Meaning Space and Semantic Laws of Motion

我们在上面讨论过，在ChatGPT中，任何文本都有效地由数字数组表示，我们可以将其视为某种“语言特征空间”中点的坐标。因此，当ChatGPT继续一段文本时，这对应于在语言特征空间中追踪轨迹。但现在我们可以问，是什么让这个轨迹与我们认为有意义的文本相对应。也许存在某种“语义运动定律”来定义——或者至少约束——语言特征空间中的点如何在保持“意义”的同时四处移动?那么这个语言特征空间是什么样的呢?下面是一个例子，如果我们将这样的特征空间投射到2D中，单个单词(这里是普通名词)可能会如何布局:我们在上面看到了另一个基于代表植物和动物的单词的例子。但在这两种情况下，重点是“语义相似的词”被放在附近。另一个例子是，与不同词性对应的单词是如何排列的:当然，一个给定的单词通常并不只有“一个意思”(或者只对应一个词性)。通过观察包含一个词的句子是如何在特征空间中布局的，人们通常可以“梳理”不同的含义——就像这里的单词“crane”(鸟还是机器?):好吧，所以我们可以认为这个特征空间是将“意义相近的词”放置在这个空间中，至少是合理的。但是在这个空间中我们能识别出什么样的附加结构呢?例如，是否存在某种“平行移动”的概念，可以反映空间中的“平坦性”?解决这个问题的一种方法是类比:是的，即使我们将其投射到2D中，也至少会有“平坦的暗示”，尽管这种情况并不普遍。那么轨迹呢?我们可以看看ChatGPT的提示符在特征空间中遵循的轨迹，然后我们可以看到ChatGPT是如何继续下去的:这里当然没有“几何上明显的”运动定律。这一点也不奇怪;我们完全预计这将是一个相当复杂的故事。例如，即使存在“运动的语义定律”，它最自然的表述方式(或者实际上是什么“变量”)是什么，这一点远不明显。在上图中，我们展示了“轨迹”中的几个步骤——在每个步骤中，我们都选择ChatGPT认为最有可能的单词(“零温度”情况)。但我们也可以问，在给定的点上，什么样的单词会以什么样的概率“接下来”出现:在这种情况下，我们看到的是，在特征空间中，有一个高概率单词的“扇子”，似乎朝着或多或少确定的方向前进。如果我们更进一步会发生什么?这里是我们沿着轨迹“移动”时出现的连续“粉丝”:这里是一个3D表示，总共有40个步骤:是的，这看起来很混乱，而且没有特别鼓励人们通过经验地研究“ChatGPT在里面做什么”来确定“类似数学物理的”“语义运动定律”的想法。但是，也许我们只是在看“错误的变量”(或错误的坐标系统)，如果我们只看正确的，我们就会立即看到ChatGPT正在做一些“数学-物理-简单”的事情，比如遵循测地线。但到目前为止，我们还没有准备好从它的“内部行为”中“经验地解码”ChatGPT“发现”的人类语言是如何“组合在一起”的。