作者：杨琪，中国科学院物理研究所博士生

审稿人：王雷，中国科学院物理研究所研究员|

导读

您可能听说过当今互联网上流行的各种聊天机器人。其背后是GPT模型。 （GPT（Generative Pre-Trained）是模型的一种，但下面的GPT都是由众所周知的GPT模型执行的）。作为强大的大规模语言模型，GPT 展现出了令人惊讶的实力。写电子邮件、学习英语、帮助人们阅读文学作品等对许多人的生活都有帮助。作为聊天机器人，它们在许多任务中达到或超过了人类智能。这真是太棒了。但今天我们不是要夸奖它，而是要展示一些看似简单，但GPT却完全无能为力的东西。 事实上，当你询问时，GPT 仍然知道这些数字：

啊？一定有办法理解《博古通今》的GPT中“10个字符”的含义，但为什么只能正确输出10个字符呢？小编就知道为什么GPT不能处理这个问题了。这就是我们将在本文中讨论的内容。

自回归模型

要解释为什么GPT不能执行如此简单的任务，我们首先要从GPT的底层原理开始：——自回归模型。不要被这个看似抽象的词吓倒。这个概念其实很简单。

使用自回归模型可以做的事情实际上类似于猜词。我们以英语课上的一个小场景为例。

……在猜了几个可能不正确的字母后，学生终于猜到第二个字母是“h”。

下一步是什么？下一步是考虑“ch”之后哪些字母或单词更常见且概率更高。这就要求学生考虑不同字母的表现概率。当然，学生应该做出更大的猜测，因为他们更有可能猜对。学生再次查字典，根据出现的频率估计概率，并利用该概率猜测第三个和第四个字母是聊天。

学生猜测的例子实际上是对自回归模型和GPT运行方式的生动诠释。当GPT 工作时，它类似于猜测单词，只不过字母被替换为标记。

Token：自然语言处理中的一个术语。指处理文本的最小单位。标记可以是字符、单词或短段落。

更一般地说，GPT 计算给定上下文的不同可能输出选项之间的概率，并根据这些概率进行输出。也就是说，根据

输出尺寸。

事实上，在GPT的实际应用中，并没有老师批改学生的答案。然而，教师对学生猜词示例的更正可以被视为对GPT 在训练期间使用的数据集进行训练。在训练过程中，GPT 使用数据集进行调整并提高其答案的准确性。

您告诉GPT 的提示词可以与老师首先说的第一个字母“c”进行比较。然后，GPT 开始根据这个初始输入组织和生成输出。首先，它猜测要输出的第一个话语（对应于“h”）。然后，它根据“ch”的新“当前上下文”逐步猜测下一个字母/语素。

我聪明的朋友似乎能够在没有老师修正的情况下无限地猜出GPT，但它并不止于猜测下一个猜测。 GPT经常说垃圾话，但最终还是停止了。什么才能阻止这场闹剧呢？

GPT就是这样解决这个问题的。工程师们知道，强制GPT 停止无限猜测单词实际上很容易。你需要做的就是“扩展”语素表，使“停止”操作变成一个新的语素。因此，当GPT 猜测一个单词时，它会一直猜测，直到语素“停止”为止，并且不会停止猜测。

现在我们知道自回归模型是如何工作的，我们可以回到原来的问题了。在编者的例子中，GPT“心脏”可能正在做这个计算

GPT很狠，并不关心用户是否只需要10个汉字，它只关心这个概率分布，并根据这个概率进行采样。

一旦GPT 说出9 个汉字字符，其输出应该以一个单词结束。 GPT搜索概率表，发现所有输出中只输出一个单词的概率太小（这也意味着这种情况下训练语料太小）。因此，我们只能忽略前面的“完全”的要求。将输出10 个汉字字符“”。

GPT欠缺的两种能力

自回归模型中的每次抽样均基于当前信息（当前上下文），并且在抽样过程中缺乏总体规划。 从人的角度来看，如果你有正好10个词的要求，你不应该一次说9个词，你应该确保剩下的词能组成一个完整、流畅的句子。但自回归模型（GPT）并不关心这一点，而且非常盲目和短视，总是只关心当前的情况。

我并不真正关心总响应概率。

够了吗？

自回归模型不具备“反思和纠正”的能力。 人类基本上具有反省的能力。如果你说错了、做错了，你至少应该心里想：“对不起，我做不到，我必须弥补。”

我相信很多人刚转到说10个字的任务时，就和小编一样，错过了10个字的计数，估计自己一下子说太多了。

小编：今天天气很好，阳光真明媚……

你会怎么做？已经10个字符了？它会无法通过图灵测试吗？快速修复并删除“非常”，你就会得到一个多词。

说到GPT，这些都是金言玉语，而且确实如此。口语的每一步都被置于新的“当前上下文”中。我们不会删除或修改采样内容。在一次又一次猜测令牌的过程中，你会犯很多错误……这意味着虽然GPT 可以看到以前的输出，但它不具备该功能。反思和修正

并非所有机器学习模型都有这个缺点。例如，在围棋格斗单元“狗”（AlphaGo）中，蒙特卡罗搜索树算法如果发现胜率太低的结果，就会修改先前的选择。

这也教会你培养良好的计划技能以及自我反思和改进的能力。否则，即使是像GPT 这样“阅读能力强”的程序也根本无法完成说出10 个单词的简单任务。

编辑：杨奇、穆智

版权声明：本文转载于网络，版权归作者所有。如有侵权，请联系本站编辑删除。