在混乱的环境中使用线索思维提示和平行知识图检索实现有结构的推理的LLMs
利用线索思维和平行知识图进行结构化推理：在混乱环境下实现LLMs的检索方法
大型语言模型（LLMs）展示了令人印象深刻的少样本学习能力，仅仅通过少数例子就能迅速适应新任务。
为什么RAG（检索增强生成）将成为使用LLM进行系统设计的基石…
近期对GPT-3 [1] 等大型语言模型（LLMs）的进展表明了强大的少样本学习能力 – …
ai.plainenglish.io
然而，尽管它们的进展，LLMs在处理混乱且充斥着不相关事实的复杂推理方面仍面临限制。为了解决这个挑战，研究人员探索了技术，如链式思考提示，以指导模型逐步分析信息。然而，独自使用这些方法往往难以完全捕捉到广泛背景下的所有关键细节。
- 范德比尔特大学和加州大学戴维斯分校的研究人员介绍了PRANC：一种在学习和重建阶段都具有内存高效的深度学习框架
- 自动化化学实体识别：创建您的 ChemNER 模型
- 在使用GPT（生成对抗网络）构建受物理约束的神经网络方面成为一位专家
本文提出了一种将思维线索（Thread-of-Thought，ToT）提示与检索增强生成（RAG）框架相结合的技术，同时并行地访问多个知识图谱。ToT作为推理的“骨干”结构思维，而RAG系统扩充了可用的知识来填补空白。与顺序检索相比，对多样化信息源的并行查询提高了效率和覆盖范围。这个框架旨在提升LLMs在混乱环境中的理解和问题解决能力，更接近人类认知。
我们首先阐述了在混乱环境中需要进行结构化推理的原因，其中相关和不相关的事实相互交织。接下来，我们介绍了RAG系统的设计以及它如何扩展LLM的可访问知识。然后，我们解释了如何通过系统地引导LLM进行逐步分析来整合ToT提示。最后，我们讨论了像并行检索这样的优化策略，以便能够同时高效地查询多个知识源。
通过概念解释和Python代码示例，本文阐明了一种协调LLMs的优势与补充外部知识的新技术。此类创新的整合突显了克服固有模型限制和推进人工智能推理能力的有望方向。该提出的方法旨在提供一个适用于今后LLMs和知识库不断发展的通用框架。
