“见面吧，Tarsier：一个开源的Python库，可实现与多模式LLMs（如GPT4）的Web交互”

与多模式LLMs（如GPT4）进行Web交互的开源Python库：见面吧，Tarsier

随着人工智能的不断发展和对我们生活的各个方面产生影响，人们正在进行研究以使其更加有用和便利。今天，人工智能在日常生活的各个方面都发挥着作用。在各个领域进行了广泛的研究。因此，Reworkd的研究人员提出了Tarsier，这是一个开源Python库，用于实现与多模态语言模型（LLM）如GPT-4进行网络交互。

Tarsier充当了一座桥梁，通过对网页上的可交互元素进行视觉标记，并实现用户与计算机之间的交互，增强了这些模型的能力。

Tarsier简化了对LLM进行网络交互的复杂过程。通过使用括号和唯一标识符（如ID）对元素进行视觉标记，这些元素包括页面上可见的按钮、链接和输入字段，为GPT-4执行操作建立了重要的映射。换句话说，Tarsier充当了一个翻译器，使得语言模型可以理解网络内容。

Tarsier的一个特点是其能够对页面进行可视化表示。这一特点在现有的视觉语言模型面临挑战时非常重要。通过提供光学字符识别（OCR）工具，Tarsier将页面截图转换为一个带有空白结构的字符串，确保即使是非多模态的LLM也可以理解网页内容和含义。

Tarsier引入了两个基本实用工具，明显提升了语言模型的交互能力，这两个工具分别是标记可交互元素和解析截图为OCR文本表示。

Tarsier在通过唯一标识符对可交互元素进行标记的能力上独树一帜。这一标识符使语言模型能够理解它们可以使用的元素，如点击按钮、跟随链接或填写输入字段。这种标记方法提高了理解能力，并在语言模型的选择与网页上的基础元素之间建立了清晰的联系。

Tarsier的另一个革命性特点是其能够将截图转换为具有空间感知的OCR文本表示。这一进展使得像GPT-4或任何纯文本LLM之类的模型可以用于网络任务，即使没有视觉能力。实质上，Tarsier通过使语言模型能够在不依赖视觉的情况下与网络进行交互，拓宽了人工智能应用的视野。

此外，Tarsier还有一系列的食谱，展示了如何将其与Langchain和LlamaIndex等知名LLM库配合使用，使入门过程更加简单。这些食谱通过提供有用的示例和见解，让人们直接体验Tarsier的功能。

总之，Tarsier是提升LLM能力的必备工具。它通过提供网页元素的有组织描述，使LLM能够探索和理解网络的复杂性。通过其OCR工具，这种能力进一步扩展到纯文本模型，消除了障碍，促进了更多样化和适应性强的人工智能环境。

这篇文章来源于MarkTechPost。