我们能从GPT-5期待什么?
我们一直在等待的时刻——GPT-5和它的前身GPT-4所具备的令人印象深刻的能力
跟上人工智能和技术的快速发展似乎非常困难。每周或每月都会有新的东西出现,而现在你又要学习新的东西了!
这一次是GPT-5。
GPT-4于2023年3月发布,自那以后,每个人都在等待GPT-5的发布。Siqi Chen在3月27日发推文称“gpt5计划于今年12月完成训练。”然而,OpenAI CEO Sam Altman在4月的MIT活动上回答关于GPT-5的问题时表明:“我们现在还没有,而且一段时间内也不会有。”
这样就澄清了。然而,一些专家建议OpenAI发布一个GPT-4.5,即GPT-4和GPT-5之间的中间版本,预计在2023年Q3/Q4发布。当前模型始终在进行改进,这可能是GPT-4.5的一个潜在版本。许多人表示,GPT-4.5具有多模态能力潜力,这已经在2023年3月的GPT-4开发者直播中得到了证明。
尽管对GPT-5有很高的期望,但GPT-4仍需要解决一些问题。例如,GPT-4的推理时间非常长,而且运行成本很高。还有其他的挑战,比如访问GPT-4 API。
尽管还有工作要做,但我们可以说,每个GPT版本都推动了AI技术的边界以及它的能力。AI爱好者很兴奋地探索GPT-5的开创性特点。
那么,我们可以期待从GPT-5中获得哪些特点呢?让我们来看看吧。
减少幻觉
这全都是关于信任的,这也是大多数用户不相信AI模型的主要原因。例如,GPT-4在所有九个类别的内部事实评估中得分比GPT-3.5高40%,如下图所示。这意味着与GPT-3.5相比,GPT-4不太可能响应不允许的内容,并且更有可能产生事实性的回答。
随着新版本将继续改进当前的挑战,据说GPT-5将减少幻觉,将LLMs更加可信。
计算效率
正如之前所述,GPT-4的计算成本非常昂贵,每个标记为0.03美元。与GPT-3.5的0.0002美元相比,这是一个很大的差异。GPT-4使用万亿参数数据集和基础设施进行训练,这反映了成本。
而Google的PaLM 2模型仅使用3400亿个参数进行训练,具有高效的性能。如果OpenAI计划与Google的PaLM 2竞争,他们将需要寻找减少成本和GPT-4参数规模的方法,同时能够保持性能。
另一个要考虑的方面是更好的推理时间,即深度学习模型预测新数据所需的时间。GPT-4中的更多功能和插件,计算效率就越高。开发人员已经向OpenAI抱怨,GPT-4 API经常停止响应,这迫使他们使用GPT-3.5。
综上所述,我们可以期待OpenAI通过发布更小、更便宜、更高效的GPT-5版本来克服这些挑战。
多感官
在GPT-4发布前,很多人都对它的多模态能力感到兴奋。尽管它尚未添加到GPT-4中,但这就是GPT-5可能成为焦点并真正实现多模态的地方。
我们不仅可以期望它处理图像和文本,还包括音频、视频、温度等等。Sam Altman在一次采访中表示:“我很兴奋看到我们能够做视频时会发生什么,世界上有很多视频内容。有很多东西比文本更容易通过视频学习。”
增加可用于使对话更加动态和交互的数据类型。多模态能力将成为人工通用智能(AGI)的最快连接。
长期记忆
GPT-4的最大标记长度为32,000个标记,令人印象深刻。但随着世界发布一个又一个模型,我们有了 Story Writer 等可以输出 65,000 个标记的模型。
为了跟上当前的竞争,我们可以期待 GPT-5 引入更长的上下文长度,使用户拥有能够记住其个性和历史多年的AI朋友。
改进的上下文理解
作为大型语言模型(LLM),我们可以期待的第一件事是在理解上下文方面的能力得到改进和增强。如果我们将此与上面关于长期记忆的观点相结合,GPT-5 可能具有在长时间对话中保持上下文的潜力。作为用户,您将获得更多定制和有意义的响应,这些响应与您的要求一致。
随之而来的是对语言的更高级别的理解,自然语言的主要组成部分是情感。GPT-5 在上下文理解方面的潜在能力可以使其更具移情作用,产生适当的回复以继续参与对话。
总结
还有更多关于 GPT-5 潜在能力的发现,我们在发布日期更近之前将无法获得更多信息。本文基于 GPT-4 和 GPT-3.5 目前面临的挑战,以及 OpenAI 如何利用这些障碍来克服并发布高性能的 GPT-5。 Nisha Arya 是一位数据科学家、自由技术作家和小猪AI社区经理。她特别喜欢提供数据科学职业建议或教程和基于理论的数据科学知识。她还希望探索人工智能在延长人类寿命方面的不同方式。作为一名热心的学习者,她寻求扩大自己的技术知识和写作技巧,同时帮助指导他人。