GPT-4o

GPT-4o（“o”表示“omni”）是朝着更自然的人机交互迈出的一步——它接受文本、音频、图像和视频的任何组合作为输入，并生成文本、音频和图像输出的任何组合。它可以在232毫秒内对音频输入做出响应，平均320毫秒，这与人类在对话中的响应时间（在新窗口中打开）相似。它在英语文本和代码方面与GPT-4 Turbo的性能相匹配，在非英语语言文本方面有显著改进，同时在API中速度更快，价格便宜50%。与现有型号相比，GPT-4o在视觉和音频理解方面尤其出色。

在GPT-4o之前，您可以使用语音模式与ChatGPT通话，平均延迟为2.8秒（GPT-3.5）和5.4秒（GPT-4）。为了实现这一点，语音模式是一个由三个独立模型组成的管道：一个简单模型将音频转录为文本，GPT-3.5或GPT-4接收文本并输出文本，第三个简单模型则将文本转换回音频。这一过程意味着，主要的智力来源GPT-4会丢失大量信息——它无法直接观察音调、多个扬声器或背景噪音，也无法输出笑声、歌声或表达情感。

使用GPT-4o，我们在文本、视觉和音频中端到端地训练了一个新模型，这意味着所有输入和输出都由同一个神经网络处理。因为GPT-4o是我们第一个将所有这些模式结合在一起的模型，所以我们仍在探索该模型的作用及其局限性。

模型评估

根据传统基准测试，GPT-4o在文本、推理和编码智能方面实现了GPT-4 Turbo级别的性能，同时在多语言、音频和视觉功能方面设置了新的高水印。