多模态语言模型：人工智能（AI）的未来
多模态语言模型：AI的未来
大型语言模型（LLM）是能够分析和生成文本的计算机模型。它们通过对大量文本数据进行训练，以提高在文本生成和编码等任务中的性能。
目前大多数LLM仅限于处理文本，也就是说，它们只擅长处理基于文本的应用程序，并且在理解其他类型的数据方面具有有限的能力。
文本模型的例子包括GPT-3、BERT、RoBERTa等。
- 一篇新的人工智能论文解释了大型语言模型作为一般模式机器可以具有的不同专业水平
- 斯坦福大学和Mila研究人员提出了Hyena：一种不需要注意力的替代方案，可以替代许多大规模语言模型的核心构建模块
- 使用LLMs增强Amazon Lex，并通过URL摄取来改善FAQ体验
相反，多模态LLM将其他数据类型（如图像、视频、音频和其他感知输入）与文本相结合。将多模态集成到LLM中可以解决当前仅限于文本的模型的一些局限性，并为以前不可能实现的新应用开辟可能性。
最近发布的Open AI的GPT-4就是多模态LLM的一个例子。它可以接受图像和文本输入，并在许多基准测试中展示出与人类水平相当的性能。
多模态AI的崛起
多模态AI的进步可以归功于两个关键的机器学习技术：表示学习和迁移学习。
通过表示学习，模型可以为所有模态开发共享表示，而迁移学习则允许模型在细调特定领域之前先学习基础知识。
这些技术对于使多模态AI变得可行和有效至关重要，正如最近的突破所示，例如CLIP可以对齐图像和文本，DALL·E 2和Stable Diffusion可以从文本提示生成高质量图像。
随着不同数据模态之间的界限变得不那么清晰，我们可以预期越来越多的AI应用将利用多个模态之间的关系，标志着该领域的范式转变。临时方法将逐渐过时，理解不同模态之间的连接的重要性将继续增长。
多模态LLM的工作原理
仅文本的语言模型（LLM）由变换器模型驱动，帮助它们理解和生成语言。该模型接受输入文本并将其转换为称为“词嵌入”的数值表示。这些嵌入帮助模型理解文本的含义和上下文。
然后，变换器模型使用称为“注意层”的方法处理文本，并确定输入文本中的不同单词之间的关系。这些信息帮助模型预测输出中最可能的下一个单词。
另一方面，多模态LLM不仅处理文本，还处理其他形式的数据，如图像、音频和视频。这些模型将文本和其他数据类型转换为一个共同的编码空间，这意味着它们可以使用相同的机制处理所有类型的数据。这使得模型能够生成包含多种模态信息的响应，产生更准确和具有上下文的输出。
为什么需要多模态语言模型
像GPT-3和BERT这样的仅文本LLM具有广泛的应用，如写文章、撰写电子邮件和编码。然而，这种仅限于文本的方法也凸显了这些模型的局限性。
尽管语言是人类智能的重要组成部分，但它只代表了我们智力的一面。我们的认知能力在很大程度上依赖于无意识的感知和能力，这在很大程度上受到我们过去的经验和对世界运作方式的理解所影响。
仅针对文本进行训练的LLM在合并常识和世界知识方面固有的局限性，这对某些任务可能会带来问题。扩展训练数据集在一定程度上可以帮助解决这个问题，但这些模型可能仍然会遇到意外的知识盲点。多模态方法可以解决其中的一些挑战。
为了更好地理解这一点，可以考虑ChatGPT和GPT-4的例子。
尽管ChatGPT是一个非常出色的语言模型，在许多情境中被证明非常有用，但在复杂推理等领域也存在一定的局限性。
为了解决这个问题，下一代GPT，即GPT-4，预计将超越ChatGPT的推理能力。通过使用更先进的算法和融合多模态功能，GPT-4有望将自然语言处理提升到一个新的水平，使其能够解决更复杂的推理问题，并进一步提高其生成类人回复的能力。
一些多模态LLM的示例
OpenAI: GPT-4
GPT-4是一个大型的多模态模型，可以接受图像和文本输入，并生成文本输出。尽管在某些现实情况下它可能不如人类那样能力强大，但GPT-4在许多专业和学术基准测试中展现出了与人类相当的表现。
与其前身GPT-3.5相比，这两个模型在日常对话中的区别可能不太明显，但当任务的复杂性达到一定阈值时就会显现出来。GPT-4更加可靠和有创造力，并且可以处理比GPT-3.5更细致的指令。
此外，它可以处理涉及文本和图像的提示，使用户能够指定任何视觉或语言任务。GPT-4在包含文本、照片、图表或屏幕截图的各个领域展示了其能力，并且可以生成自然语言和代码等文本输出。
可汗学院最近宣布将使用GPT-4来支持其AI助手Khanmigo，该助手将充当学生的虚拟导师以及教师的课堂助手。每个学生对概念的掌握能力有很大的差异，使用GPT-4将有助于学院解决这个问题。
Microsoft: Kosmos-1
Kosmos-1是一种多模态大型语言模型（MLLM），它可以感知不同的模态、在上下文中学习（少量数据）并遵循指令（零-shot）。Kosmos-1是从头开始在网络数据上进行训练的，包括文本和图像、图像-标题对和文本数据。
该模型在语言理解、生成、感知-语言和视觉任务上取得了令人印象深刻的性能。Kosmos-1原生支持语言、感知-语言和视觉活动，并且可以处理感知密集型和自然语言任务。
Kosmos-1证明了多模态使大型语言模型能够以更少的代价实现更多，并使较小的模型能够解决复杂的任务。
Google: PaLM-E
PaLM-E是由Google和TU Berlin的研究人员开发的新型机器人模型，它利用来自各种视觉和语言领域的知识转移来增强机器人学习。与以往的努力不同，PaLM-E训练语言模型直接融合机器人代理的原始传感器数据。这导致了一种高效的机器人学习模型，即一种最先进的通用视觉-语言模型。
该模型接收不同信息类型的输入，例如文本、图片和对机器人周围环境的理解。它可以生成纯文本形式的响应，或者一系列可以根据各种输入信息类型（包括文本、图像和环境数据）转化为可执行命令的文本指令。
PaLM-E展示了在具体和非具体任务中的能力，这是由研究人员进行的实验所证明的。他们的研究结果表明，在多任务和多体验的组合训练下，模型的性能得到了提升。此外，模型的知识转移能力使其能够有效地解决机器人任务，即使在有限的训练样本情况下也是如此。这在机器人领域尤为重要，因为获取足够的训练数据可能具有挑战性。
多模态LLMs的局限性
人类自然而然地学习和结合不同的模态和理解世界的方式。另一方面，多模态LLMs试图同时学习语言和感知或者组合预训练的组件。虽然这种方法可以加快发展并提高可扩展性，但也可能导致与人类智能不兼容，表现为奇怪或不寻常的行为。
虽然多模态LLMs在解决现代语言模型和深度学习系统的一些关键问题方面取得了进展，但仍然有一些局限性需要解决。这些局限性包括模型与人类智能之间的潜在不匹配，可能影响它们在AI和人类认知之间架起桥梁的能力。
结论：为什么多模态LLMs是未来？
我们目前正处于人工智能的新时代的前沿，尽管它目前有一些局限性，多模态模型正处于接管的位置。这些模型结合了多种数据类型和模态，有潜力彻底改变我们与机器的互动方式。
多模态LLMs在计算机视觉和自然语言处理方面取得了显著的成功。然而，在未来，我们可以期待多模态LLMs对我们的生活产生更重大的影响。
多模态LLMs的可能性是无限的，我们只是开始探索它们真正的潜力。鉴于它们的巨大潜力，很明显多模态LLMs将在AI的未来中发挥关键作用。
