AI 竞赛 | Claude 3 劲过GPT-4？基准测试膺最聪明模型

[星岛综合报道]在这些下一代智能AI上工作一定是一种怪异的体验。随着Anthropic宣布在一系列基准测试中测试过的最聪明模型，研究人员回忆起一个令人不寒而栗的时刻，那就是Claude 3意识到自己正在被评估。

Anthropic是由一群资深的OpenAI团队成员在2021年创立的，他们因为不同意OpenAI决定与微软密切合作而分道扬镳。该公司的Claude和Claude 2 AI一直与GPT模型竞争，但Anthropic和Claude都还没有真正进入公众视野。

这种情况可能会随着Claude 3的出现而改变，因为Anthropic现在声称在一系列多模态测试中超越了GPT-4和Google的Gemini 1.0模型，设定了“在广泛的认知任务中”的新行业基准。

那么有什么不同呢？三个不同的Claude 3模型都将推出200,000个令牌的上下文窗口，但它们都能够在给定“超过一百万个令牌”的输入后产生几乎即时的回应。

把这放在上下文中，托尔斯泰的1200页、580,000字的史诗巨著《战争与和平》是一本相当厚重的书，但它可能压缩到大约750,000个令牌。所以Claude 3可以接受远超过一本《战争与和平》的输入数据量，并在同时理解所有这些数据的同时，提供“几乎即时”的答案。

Anthropic表示，Claude 3比其先前的模型更不可能拒绝回答被认为接近安全和体面的护栏的问题。但另一方面，该团队表示它也经过了精心测试，很难被破解。

它的设计倾向于商业用户，Anthropic表示，它更擅长遵循“复杂的多步骤指令”，并且“特别擅长遵守品牌声音和回应指南，以及开发我们的用户可以信赖的面向客户的体验。”它强大的视觉能力赋予它下一代的能力，能够理解和处理照片、图表、图形、流程图和技术图表。它在解决超难问题方面也特别擅长。

以下是它在其中设定了新的AI行业纪录的一些基准测试：

值得注意的是，Claude 3的零训练数学能力大大超过了GPT-4的4至8次训练尝试，其在HumanEval编码测试上的能力也绝对出色。

业者或会注意到，Google的Gemini 1.5和OpenAI的GPT-4 Turbo模型目前没有相等的基准数据，所以虽然Claude 3是统计表上的王者，但这两个模型在现实世界中可能还是有优势。

而且，正如现在应该非常清楚的那样，OpenAI几乎肯定已经训练了GPT-5，甚至可能是超越它的东西，并且正在进行对齐和测试。就像Sora被发布来埋葬Gemini 1.5在新闻周期中一样，我们确信OpenAI已经准备好了其他重磅炸弹，在必要时投放。

从这个意义上讲，OpenAI今天似乎没有发布任何东西，这可能更多地说明了它对Anthropic作为一个真正的竞争对手的看法，而不是说明谁拥有最聪明的模型。

不过，Claude确实很敏锐 - 也许对于公司用来评估其模型的测试来说太敏锐了。在“大海捞针”测试中，一个随机的句子被埋在大量的信息中，模型被问到一个与这个句子相关的问题，Claude给出的回应似乎转过身直接看着研究人员。

我们可能会越来越多地期待这些事情的发生，因为现有和较老的语言模型的大量信息现在已经成为新模型训练的一部分。

当然，了解从事AI工作的公司对“自我意识”究竟意味着什么，以及人工通用智能当前的定义是什么，肯定会很有趣。因为看起来，在未来几年内，我们将需要对这些概念有一些非常清晰的定义，或者可能是几个月，又或者在这个领域，可能是几周。

图片：Anthropic AI

T10