思维传播：用大型语言模型进行复杂推理的类比方法
时尚引领：用大型语言模型进行复杂思考的类比传播方法
主要观点
- 思维传播（TP）是一种增强大型语言模型（LLMs）复杂推理能力的新方法。
- TP利用类似问题及其解决方案来改善推理，而不是让LLMs从零开始推理。
- 在各种任务的实验中，TP的表现远远优于基准方法，改进幅度在12%到15%之间。
TP首先要求LLMs提出和解决一组与输入问题相关的类似问题。然后，TP利用类似问题的结果直接产生一个新的解决方案，或者制定一个知识密集型的执行计划，以改进从零开始得到的初始解决方案。
介绍
大型语言模型（LLMs）的多功能性和计算能力毋庸置疑，但也有其限制。对LLMs最显著且一致的挑战之一是它们解决问题的一般方法，即对每个新任务从基本原理出发加以推理。这是有问题的，因为它虽然增加了适应性，但也增加了错误的可能性，特别是对于需要多步推理的任务。
“从零开始推理”的挑战在需要多个步骤的逻辑和推理的复杂任务中特别明显。例如，如果要求一个LLMs在一个由相互连接的点组成的网络中找到最短路径，它通常不会利用先前的知识或类似问题来找到解决方案。相反，它会尝试孤立地解决问题，这可能导致次优的结果甚至明显的错误。于是，“思维传播”（TP）应运而生，这种方法旨在增强LLMs的推理能力。TP旨在克服LLMs的固有局限性，使它们能够借鉴一组类似问题及其相应的解决方案。这种创新的方法不仅改善了LLMs生成解决方案的准确性，还显著提高了它们处理多步骤、复杂推理任务的能力。通过利用类比的力量，TP提供了一个增强LLMs固有推理能力的框架，将我们带近了真正智能的人工系统的实现。
理解思维传播
思维传播涉及两个主要步骤：
- 首先，LLMs被要求提出和解决一组与输入问题相关的类似问题
- 然后，这些类似问题的解决方案被用来直接产生新的解决方案或修正初始解决方案
识别类似问题的过程使LLMs能够重用解决问题的策略和解决方案，从而提高其推理能力。TP与现有的提示方法兼容，提供了一个可广泛应用于各种任务的通用解决方案，而无需进行重大的特定任务工程。
此外，不要低估TP的适应性。它与现有提示方法的兼容性使其成为一个非常通用的工具。这意味着TP并不局限于任何特定类型的问题解决领域。这为特定任务的精细调整和优化开辟了令人兴奋的机遇，从而提升了LLMs在广泛应用领域中的实用性和效能。
实施思维传播
思维传播的实施可以集成到现有LLMs的工作流中。例如，在最短路径推理任务中，TP可以首先解决一组更简单的类似问题，以理解各种可能的路径。然后，它将利用这些见解来解决复杂问题，从而增加找到最优解的可能性。
示例 1
- 任务：最短路径推理
- 类似问题：点 A 和点 B 之间的最短路径，点 B 和点 C 之间的最短路径
- 最终解决方案：根据类似问题的解决方案得到点 A 到点 C 的最优路径
示例2
- 任务: 创作写作
- 类似问题: 写一篇关于友谊的短篇小说，写一篇关于信任的短篇小说
- 最终解决方案: 写一篇包含友谊和信任主题的复杂短篇小说
该过程首先解决这些类似问题，然后利用所得的见解来应对手头的复杂任务。这种方法在多项任务中表现出其有效性，展示了绩效指标的显著改进。
思维传播的影响不仅仅局限于改善现有指标。这种提示技术有潜力改变我们对LLM的理解和部署方式。这种方法强调了从孤立的、原子式问题解决向更全面、互联的方法的转变。它促使我们考虑LLM不仅可以从数据中学习，还可以从问题解决过程中学习。通过通过解决类似问题的解决方案不断更新自己的理解，配备了TP的LLM更好地准备应对意外挑战，在快速演变的环境中更具弹性和适应性。
结论
思维传播是一种有望增强LLM能力的提示方法工具。通过让LLM利用类似问题及其解决方案，TP 提供了一种更细致、有效的推理方法。实验证实了其功效，使其成为提高LLM在各种任务中性能的候选策略。TP 可能最终代表了在寻找更有能力的 AI 系统方面迈出的重要一步。
****[Matthew Mayo](https://www.kdnuggets.com/wp-content/uploads/./profile-pic.jpg)**** (@mattmayo13) 获得计算机科学硕士学位和数据挖掘研究生文凭。作为 VoAGI 的主编，Matthew 的目标是使复杂的数据科学概念易于理解。他的专业兴趣包括自然语言处理、机器学习算法以及探索新兴人工智能。他的使命是在数据科学社区中使知识民主化。Matthew 从6岁起就开始编程。
