翻电Special 机器时代之心，人与chatGPT的终极对比 VOL.112

我用的时候感觉它一个很大的盲区是“谐音”，例如要求它写一个谐音笑话，往往既不谐音又没有逻辑

补充一句关于词汇分布的generality问题，针对每一个词汇，横轴是词汇分布远近，左边是最近，右边是最远，纵轴是词汇数量。那么最终呈现是正态分布的，最近的大概是is was do don’t 这些词，最远是语料中最少出现的。在这个正态分布中，根据attention和算法机制，机器最容易接下岔的是正态分布峰值的词汇，左侧是被attention机制排除的，右侧是被函数排除的。对于一个词如此，多个词语的分布关系就更是如此，但重要的“long-tailness”都分布在最右侧，就是看似长尾，其实肥尾的部分

举例问题会不会是因为我们实际上每次举例都是演绎的，也就是说都是一个创作过程。首先我们每次说一个例子都会有一些不一样，尤其复杂的例子。其次我们每次为了说明道理会对例子进行特殊的阐释，甚至拼凑和虚构。另外甚至我们有时候根本就是编一个故事来说明，就好比有一个人，一天他如何如何。gpt根本上是给予已有信息的统计，所以是无法真正创造的。 另外就是所谓长尾也好，某种句式也好，对于gpt，它就是看频率，它的语料库来自于普通人的会比较多，包括面向大众的刊物和书籍，那么就是越常见的就越容易被用到。我觉得之所以叫chat，平时聊天聊简单问题下的表现好一些。

Multihead部分的介绍有误，每个head都会看到所有词

好用

塔勒步的哪本书？