第3章 ChatGPT简介

3.1ChatGPT厚积薄发

最近，工智能公司OpenAI推出的ChatGPT风靡全球，其上线仅两个月，注册用户破亿。ChatGPT包含丰富的知识，不仅能更好地理解人类的问题和指令，流畅进行多轮对话，还在越来越多领域显示出解决各种通用问题和推理生成能力。许多人相信，ChatGPT不仅是新一代聊天机器人的突破，也将为信息产业带来巨大变革，也预示着AI技术应用将迎来大规模普及。
ChatGPT表现不俗？其背后的技术有哪些？

3.2 从GPT到GPT-3

3.3 从GPT-3到ChatGPT的进化路线图

下图为从最初的GPT-3到GPT-3.5的进化路线图。
图1 GPT-3初版到ChatGPT的进化路线图
其中text—davinci—002是在code—davinci—002的基础上使用InstructGPT训练方法改进的。GPT-3.5在GPT-3的基础上加入了代码的能力，ChatGPT的代码训练中，很多数据来自于类似Stack Overflow这样一些代码问答的网站，所以我们会发现它做简单的任务其实做得还蛮好的。
从图1可知，GPT-3为ChatGPT打下了扎实的基础，但codex、RLHF等技术新增很多新功能，挖掘了GPT-3的潜力。

3.4 使GPT-3初版升级到ChatGPT的多项关键技术

从图1可知，这两项关键技术是代码训练（Codex）、RLHF及TAMER等
1、Codex
Codex 模型系列是 GPT-3 系列的后代，它经过了自然语言和数十亿行代码的训练。 该模型系列精通十几种语言，包括 C# JavaScript、Go、Perl、PHP、Ruby、Swift、TypeScript、SQL甚至Shell，但最擅长 Python。
你可以使用Codex完成各种任务，包括：
 将注释转换为代码
 在上下文中补全下一行代码或函数
 为你提供一些知识，例如为应用程序查找有用的库或 API 调用
 添加注释
 重写代码以提高效率
Codex如何训练的呢？
首先，在GITHub数据上预训练模型。这个模型可以合理地表征人类编码空间，可以极大地减少搜索量级。使用带tempering的GOLD目标函数，结合编程竞赛数据集，微调模型。可有进一步降低搜索空间，给每个编程题目生成一个较大的样本集；过滤这个样本集，得到一个较小的候选结果集。
然后，进行代码补全，代码补全这个任务的特殊性：具体来说，传统的NLP任务，生成的结果越接正确答案，那么模型得分越高，但是代码不是这样的，代码但凡有一点点小Bug，都可能造成毁灭性的结果。所以对于代码补全任务，判断生成代码的正确与否就是使用的单元测试（unit test）。
针对代码补全这样一个特殊问题，作者提出了一个pass@k的一个指标，生成k个结果，只要有一个通过就算通过（k如果比较大，就会对模型的能力过度乐观，当k比较大的时候，虽然模型分数比较高，但是在使用时，会给用户返回一大堆代码，让用户去选，这个也是很难的，所以说需要排算法，但这个分数并没有反映排序）。

评估Codex模型使用了Github及HumanEval等数据集。
在预训练过程中引入程序代码，和文本一起参与预训练，以此进一步增强大型语言模型（Large Language Model，LLM）的推理能力。这个结论从不少论文的实验部分都可以得出。如图3所示。
图3 有关codex的试验数据
从图3给出的实验数据，来自于论文“On the Advance of Making Language Models Better Reasoners”，其中GPT-3 davinci就是标准的GPT-3模型，基于纯文本训练；code-davinci-002（OpenAI内部称为Codex）是同时在Code和NLP数据上训练的模型。如果比较两者效果，可以看出，不论采用具体哪种推理方法，仅仅是从纯文本预训练模型切换到文本和Code混合预训练模型，在几乎所有测试数据集合上，模型推理能力都得到了巨大的效果提升。
2、RLHF
人类反馈强化学习（Reinforcement Learning from Human Feedback，RHFL）模型将预训练语言模型按照人类反馈进一步微调以符合人类偏好，利用人类反馈信息直接优化模型。Open AI 采用了人类反馈强化学习作为ChatGPT和核心训练方式，并称其是“能有效提升通用人工智能系统与人类意图对齐的技术”。RLHF 的训练包括三个核心步骤：
（1）预训练语言模型（也可以使用额外文本进行微调，监督微调新模型可以让模型更 加遵循指令提示，但不一定符合人类偏好）。
（2）对模型根据提示（prompt）生成的文本进行质量标注，由人工标注者按偏好从最 佳到最差进行排名，利用标注文本训练奖励模型，从而学习到了人类对于模型根据给定提 示生成的文本序列的偏好性。
（3）使用强化学习进行微调，确保模型输出合理连贯的文本片段，并且基于奖励模型 对模型输出的评估分数提升文本的生成质量。
详细过程如图4所示。
图4 RHFL的训练过程，
原图来自：Learning to summarize from human feedback
3、TAMER
TAMER（Training an Agent Manually via Evaluative Reinforcement，评估式强化人工训练代理）框架。该框架将人类标记引入到智能体（即强化学习中的Agents）的学习循环中，可以通过人类向Agents提供奖励反馈（即指导Agents进行训练），从而快速达到训练任务目标。其架构图如下所示。

3.5 ChatGPT训练过程

3.6 ChatGPT不断迭代的路线图

图5 ChatGPT不断迭代的路线图

3.7ChatGPT的不足

尽管ChatGPT在上下文对话能力甚至编程能力上表现出色，完成了大众对人机对话机器人由“人工智障”到“人工智能”的突破，我们也要看到，ChatGPT仍然有一些局限性，还需不断迭代进步。
（1）ChatGPT在其未经大量语料训练的领域缺乏“人类常识”和引申能力，甚至会一本正经的“胡说八道”。
（2）ChatGPT无法处理复杂冗长或者特别专业的语言结构。对于来自金融、自然科学或医学等专业领域的问题，如果没有进行足够的语料“喂食”，ChatGPT可能无法生成适当的回答。
（3）ChatGPT还没法在线的把新知识纳入其中，而出现一些新知识就去重新预训练GPT模型也是不现实的。
（4）训练ChatGPT需要耗费非常大量的算力，成本还是很大的。

3.8 ChatGPT应用场景

ChatGPT能够提供高效的信息获取方式，有望成为重要的生产工具，潜在应用领域广泛。业界普遍认为，ChatGPT将在智能办公、智慧科研、智慧教育、智慧医疗及游戏、新闻等领域迅速落地。在金融、传媒、文娱、电商等领域，ChatGPT可以为各类消费群体提供个性化、高质量的服务，解锁多领域智慧应用。

第2章 GPT-3简介

GPT-3依旧延续自己的单向语言模型训练方式，只不过这次把模型尺寸增大到了1750亿，并且使用45TB数据进行训练。同时，GPT-3主要聚焦于更通用的NLP模型，GPT-3模型在一系列基准测试和特定领域的自然语言处理任务（从语言翻译到生成新闻）中达到最新的SOTA结果。对于所有任务，GPT-3没有进行任何微调，仅通过文本与模型进行交互。与GPT-2相比，GPT-3的图像生成功能更成熟，不需经过微调，就可以在不完整的图像样本基础上补全完整的图像。GPT-3意味着从一代到三代的跨越实现了两个转向：
1.从语言到图像的转向；
2.使用更少的领域数据、甚至不经过微调步骤去解决问题。

2.1 预训练模型一般流程

一般预训练模型（如ELMo、BERT等）的流程如图1-23所示，其中微调是一个重要环节。

图1-23 预训练模型的一般流程

2.2 GPT-3 与BERT的区别

一般预训练模型中微调是一个重要环节，但GPT-3却无需微调，GPT-3与一般预训练模型（这里以BERT为例）还有很多不同之处，具体可参考图1-24。
图1-24 GPT-3 与BERT的区别

2.3 GPT-3与传统微调的区别

对下游任务的设置大致有以下四类：
1.Fine-Tunning（FT）：
FT利用成千上万的下游任务标注数据来更新预训练模型中的权重以获得强大的性能。但是，该方法不仅导致每个新的下游任务都需要大量的标注语料，还导致模型在样本外预测的能力很弱。虽然GPT-3从理论上支持FT，但没有采用这种方法。
2.Few-Shot（FS）
模型在推理阶段可以得到少量的下游任务示例作为限制条件，但是不允许更新预训练模型中的权重。
3.One-Shot（1S）
模型在推理阶段仅得到1个下游任务示例。
4.Zero-Shot（0S）
模型在推理阶段仅得到一段以自然语言描述的下游任务说明。GPT-3与传统预训练模型对下游任务的处理方法的区别，可参考图1-25。

图1-25 传统微调与GPT-3采用的三种设置方法比较

2.4 GPT-3 示例

图1-26 为使用GPT-3 进行文本纠错的实例，从纠错结果来看，效果还是令人惊奇。
图1-26 GPT-3 进行文本纠错的实例

第1章 可视化GPT原理

BERT预训练模型采用了Transformer的Encoder部分，这节介绍的GPT（包括GPT-2、GPT-3）使用Transformer的Decoder部分。

1.1 GPT简介

GPT来自OpenAI的论文《Improving Language Understanding by Generative Pre-Training》，后来又在论文《Language Models are Unsupervised Multitask Learners》提出了 GPT-2 模型。GPT-2 与 GPT 的模型结构差别不大，但是采用了更大、更高质量的数据集进行实验。
GPT 是在 Google BERT算法之前几个月提出的，与 BERT 最大的区别在于，GPT和后来的一些模型，如TransformerXL和XLNet本质上是自回归（auto-regressive）模型，即使用单词的上文预测单词，而 BERT 不是，它采用使用MLM模型，同时利用单词左右来预测。因此，GPT 更擅长处理自然语言生成任务 (NLG)，而 BERT更擅长处理自然语言理解任务 (NLU)。

1.2 GPT的整体架构

GPT 预训练的方式和传统的语言模型一样，通过上文，预测下一个单词,GPT的整体架构如图1-11所示。

图1-11 GPT的整体架构图
其中Trm表示Decoder模块，在同一水平线上的Trm表示在同一个单元，E_i表示词嵌入，那些复杂的连线表示词与词之间的依赖关系，显然，GPT要预测的词只依赖前文。
GPT-2根据其规模大小的不同，大致有4个版本，如图1-12所示。

图1-12 GPT-2的4种模型

1.3 GPT模型结构

GPT、GPT-2使用 Transformer的Decoder 结构，但对 Transformer Decoder 进行了一些改动，原本的 Decoder 包含了两个 Multi-Head Attention 结构，GPT 只保留了 Mask Multi-Head Attention，如图1-13所示。

图1-13 GPT的模型结构

1.4 GPT-2的Mult-Head与BERT的Mult-Head区别

BERT使用Muti-Head Attention ,可以同时从某词的左右两边进行关注。而GPT-2采用Masked Muti-Head Attention，只能关注词的右边，如图1-14所示。

图1-14 BERT与GPT-2的Multi-Head的异同

1.5 GPT-2的输入

GPT-2的输入涉及两个权重矩阵，一个是记录所有单词或标识符（Token）的嵌入矩阵(Token Embeddings)，该矩阵形状为mode_vocabulary_size xEmbedding_size，另一个为表示单词在上下文位置的编码矩阵（Positional Encodings），该矩阵形状为:context_sizexEmbedding_size，其中Embedding_size根据GPT-2模型大小而定，SMALL模型为768，MEDIUM为1024，以此类推。输入GPT-2模型前，需要把标识嵌入加上对应的位置编码，如图1-15所示。

图1-15 GPT-2 的输入数据
在图1-15中，每个标识的位置编码在各层DECODER是不变的，它不是一个学习向量。

1.6 GPT-2 计算Masked Self-Attention的详细过程

假设输入语句为："robot must obey orders"，接下来must这个query对其它单词的关注度（即分数），主要步骤：
（1）对各输入向量，生成矩阵Q、K、V;
（2）计算每个query对其它各词的分数；
（3）对所得的应用Mask（实际上就是乘以一个下三角矩阵）
详细步骤如下：
1.创建矩阵Q、K 、V
对每个输入单词，分别与权重矩阵$W^Q,W^K,W^V$相乘，得到一个查询向量（query vector）、关键字向量（key vector）、数值向量（value vector），如图1-16所示。

图1-16 生成self-Attention中的K,Q,V
2.计算每个Q对Key的得分
对每个Q对Key的得分计算公式，如图1-17所示。

图1-17 Q对key得分的计算过程
3.对所得的分数应用Mask
对所得分再经过Attention Mask的映射，如图1-18所示。

图1-18 得分经过Mask示意图
4.Mask之后的分数通过softmax函数
经过Mask后的分数通过softmax后的结果如图1-19所示。

图1-19 得分通过softmax后
5.单词must（即q2）对各单词的得分为：
q2对各单词的得分，如图1-20所示。

图1-20 q2对各词的得分

1.7 输出

在最后一层，对每个词的输出乘以Token Embedding矩阵（该矩阵的形状为mode_vocabulary_size xEmbedding_size，其中Embedding_size的值根据GPT-2的型号而定，如果是SMALL型，就是768，如果是MEDIUM型，就是1024等），最后经过softmax函数，得到模型字典中所有单词的得分，通过取top取值方法就可得到预测的单词，整个过程如图1-21所示。

图1-21 GPT-2的输出

1.8 GPT与GPT-2的异同

在GPT的基础上，后面又开发出GPT-2，两者架构上没有大的变化，只是对规模、数据量等有些不同，它们之间的异同如下：
1.结构基本相同，都采用LM模型，使用Transformer的DECODER。
2.不同点：
（1）GPT-2结构的规模更大，层数更大。
（2）GPT-2数据量更大、数据类型更多，这些有利于增强模型的通用性，并对数据做了更多质量过滤和控制。
（3）GPT对不同的下游任务，修改输入格式，并添加一个全连接层，采用有监督学习方式，如图1-22所示。而GPT-2对下游采用无监督学习方式，对不同下游任务不改变参数及模型（即所谓的zero-shot setting）。

图1-22（左）Transforer的架构和训练目标，（右）对不同任务进行微调时对输入的改造。
GPT如何改造下游任务？微调时，针对不同的下游任务，主要改动GPT的输入格式，先将不同任务通过数据组合，代入Transformer模型，然后在模型输出的数据后加全连接层（Linear）以适配标注数据的格式，具体情况大致如下：
1.分类问题，改动很少，只要加上一个起始和终结符号即可；
2.句子关系判断问题，比如Entailment，两个句子中间再加个分隔符即可；
3.文本相似性判断问题，把两个句子顺序颠倒下做出两个输入即可，这是为了告诉模型句子顺序不重要；
4.多项选择问题，则多路输入，每一路把文章和答案选项拼接作为一个输入即可。
从图1-22可看出，这种改造还是很方便的，不同任务只需要在输入部分改造即可，所以GPT-2、GPT-3 对不同下游任务基本不改过参数和模型方式。