摘要

链接：https://cdn.openai.com/papers/gpt-4.pdf

我们汇报了GPT-4的发展，这是一个大规模的多模态模型，可以接受图像和文本输入并产生文本输出。虽然在许多现实场景中，GPT-4的能力不如人类，但它在各种专业和学术基准上表现出了人类的水平，包括以大约前10%的成绩通过模拟律师资格考试。GPT-4是一个基于transformer的预训练模型，用于预测文档中的下一个标记。训练后的调整过程会提高对事实的衡量和对期望行为的坚持。这个项目的一个核心组成部分是开发基础设施和优化方法，这些方法可以在大范围内预测行为。这使得我们能够准确地预测GPT-4性能的某些方面，基于不超过GPT-4计算量的千分之一的训练模型。

1、简介

本技术报告介绍了GPT-4，一种能够处理图像和文本输入并产生文本输出的大型多模态模型。这些模型是一个重要的研究领域，因为它们具有广泛应用的潜力，如对话系统、文本摘要和机器翻译。因此，近年来，它们一直是人们感兴趣和取得进展的主题[1-34]。

开发此类模型的主要目标之一是提高它们理解和生成自然语言文本的能力，特别是在更复杂和微妙的场景中。为了测试它在这种情况下的能力，GPT-4在最初为人类设计的各种考试中进行了评估。在这些评估中，它表现得相当好，经常超过绝大多数人类考生。例如，在模拟律师资格考试中，GPT-4的成绩在考生中排名前10%。这与GPT-3.5形成了鲜明对比，后者的得分位于后10%。

在一套传统的NLP基准测试上，GPT-4优于以前的大型语言模型和大多数最先进的系统(通常具有特定于基准测试的训练或手工工程)。在MMLU基准测试[35,36]中，GPT-4不仅在英语方面比现有模型表现出色，而且在其他语言方面也表现出色