GPT（Generative Pre-trained Transformer）是由OpenAI公司开发的一系列自然语言处理模型，采用多层Transformer结构来预测下一个单词的概率分布，通过在大型文本语料库中学习到的语言模式来生成自然语言文本。GPT系列模型主要包括以下版本：

(相关资料图)

GPT-1

发布于2018年，参数规模为1.17亿。模型采用Transformer进行特征抽取，首次将Transformer应用于预训练语言模型。预训练的语料库包括英文维基百科、WebText等大规模文本数据。GPT-1是一个单向语言模型，即它只能根据上下文来生成接下来的文本。

GPT-2

发布于2019年，参数规模为15亿。与GPT-1相比，参数规模大了10倍以上，GPT-2生成的文本质量更高，更加自然和流畅，可以生成更长的文本段落。该模型在生成文本方面表现出色，能够编故事甚至生成假新闻，但由于其潜在的滥用风险，OpenAI公司选择不公开发布其完整参数和源代码。

GPT-3

发布于2020年，参数规模为1750亿。该模型在自然语言处理方面的表现十分出色，可以完成文本自动补全、将网页描述转换为相应代码、模仿人类叙事等多种任务。GPT-3可以通过少量的样本进行零样本学习，即在没有进行监督训练的情况下，可以生成合理的文本结果。

GPT-3的出现标志着语言模型的发展进入了一个新的阶段，其生成的文本质量已经接近人类水平，在众多领域具有应用潜力，隐藏的伦理安全问题需引起关注和重视。

GPT-4

发布于2023年。GPT-4是一个大型多模态模型，支持图像和文本输入，再输出文本回复。

虽然在许多场景中其表现与人类存在差距，但GPT-4在某些专业和学术测试中表现出拥有专业人士的水平：它通过了模拟美国律师资格考试，且成绩在应试者中排名前10%左右；在SAT阅读考试中得分排在前7%左右。

OpenAI发布的一份技术报告中介绍了GPT- 4的性能、局限性和安全性，但有关技术架构、模型参数、训练方法以及硬件配置等内容的更多细节并未公开。