读书首部揭秘ChatGPT内部原理的权威之作

《这就是ChatGPT》

[美] 斯蒂芬·沃尔弗拉姆 著

WOLFRAM传媒汉化小组 译

图灵|人民邮电出版社出版

这是国内首部由世界AI学者、科学和技术领域重要的革新者、“第一个真正实用的人工智能”搜索引擎WolframAlpha发明人斯蒂芬·沃尔弗拉姆的ChatGPT诚意之作。ChatGPT是OpenAI开发的人工智能聊天机器人程序,于2022年11月推出,能够自动生成一些表面上看起来像人类写出的文字的东西,是一件很厉害且出乎大家意料的事。那么,它是如何做到的呢?又是为何能做到的呢?本书介绍了ChatGPT的内部机理,然后探讨了为什么它能很好地生成我们认为是有意义的文本。

ChatGPT的基本概念在某种程度上相当简单:首先从互联网、书籍等获取人类创造的海量文本样本,然后训练一个神经网络来生成“与之类似”的文本。特别是,它能够从“提示”开始,继续生成“与其训练数据相似的文本”。

正如我们所见,ChatGPT中的神经网络实际上由非常简单的元素组成,尽管有数十亿个。神经网络的基本操作也非常简单,本质上是对于它生成的每个新词(或词的一部分),都将根据目前生成的文本得到的输入依次传递“给其所有元素一次”(没有循环等)。

值得注意和出乎意料的是,这个过程可以成功地产生与互联网、书籍等中的内容“相似”的文本。ChatGPT不仅能产生连贯的人类语言,而且能根据“阅读”过的内容来“循着提示说一些话”。它并不总是能说出“在全局上有意义”(或符合正确计算)的话,因为(如果没有利用WolframAlpha的“计算超能力”)它只是在根据训练材料中的内容“听起来像什么”来说出“听起来正确”的话。

ChatGPT的具体工程非常引人注目。但是,(至少在它能够使用外部工具之前)ChatGPT“仅仅”是从其积累的“传统智慧的统计数据”中提取了一些“连贯的文本线索”。但是,结果的类人程度已经足够令人惊讶了。

正如我所讨论的那样,这表明了一些至少在科学上非常重要的东西:人类语言及其背后的思维模式在结构上比我们想象的更简单、更“符合规律”。ChatGPT已经隐含地发现了这一点。但是我们可以用语义语法、计算语言等来明确地揭开它的面纱。

ChatGPT在生成文本方面表现得非常出色,结果通常非常类似于人类创作的文本。这是否意味着ChatGPT的工作方式像人类的大脑一样?它的底层人工神经网络结构说到底是对理想化大脑的建模。当人类生成语言时,许多方面似乎非常相似。

当涉及训练(即学习)时,大脑和当前计算机在“硬件”(以及一些未开发的潜在算法思想)上的不同之处会迫使ChatGPT使用一种可能与大脑截然不同的策略(在某些方面不太有效率)。

还有一件事值得一提:甚至与典型的算法计算不同,ChatGPT内部没有“循环”或“重新计算数据”。这不可避免地限制了其计算能力——即使与当前的计算机相比也是如此,更谈不上与大脑相比了。

我们尚不清楚如何在“修复”这个问题的同时仍然让系统以合理的效率进行训练。但这样做可能会使未来的ChatGPT能够执行更多“类似大脑的事情”。当然,有许多事情大脑并不擅长,特别是涉及不可约计算的事情。对于这些问题,大脑和像 ChatGPT 这样的东西都必须寻求“外部工具”,比如Wolfram语言的帮助。

但是就目前而言,看到ChatGPT已经能够做到的事情是非常令人兴奋的。在某种程度上,它是一个极好的例子,说明了大量简单的计算元素可以做出非凡、惊人的事情。它也为我们提供了 2000多年以来的最佳动力,来更好地理解人类条件(human condition)的核心特征——人类语言及其背后的思维过程——的本质和原则。

作者:斯蒂芬·沃尔弗拉姆

编辑:周怡倩