FunSearch内幕：谷歌DeepMind的新LLM，能够发现新的数学和计算机科学算法

探索乐趣：谷歌DeepMind的全新LLM揭秘，发现数学和计算机科学算法的最新进展

这个新模型将代码生成的LLMS与强大的评估技术相结合。

我最近开始了一个以人工智能为重点的教育性新闻通讯，已经有超过160,000名订阅者了。TheSequence是一个没有炒作、没有新闻等的机器学习导向的通讯，只需5分钟阅读。目标是让您跟上机器学习项目、研究论文和概念的最新进展。请通过下方的订阅链接试试：

TheSequence | Jesus Rodriguez | Substack

机器学习、人工智能和数据领域最新进展的最佳来源……

thesequence.substack.com

发现新的科学可能是对AI模型进行最完整的图灵测试。新的科学方法需要复杂的推理能力，结合多个领域的知识，进行不断的实验和评估，以及其他繁琐的认知能力。谷歌DeepMind一直是推动使用AI推动我们实现新的科学发现边界的人工智能实验室之一。AlphaGo等模型使我们能够发现新的蛋白质，而AlphaTensor能够改进经典的矩阵乘法算法。谷歌DeepMind在这个领域的最新版本是FunSearch，一种能够创建新的数学和计算机科学算法的模型。

FunSearch通过“以代码思考”的巧妙方法来发现新算法。实质上，FunSearch使用LLM根据给定问题的一组函数生成计算机程序，然后使用评估器证明不同的解决方案。FunSearch的名称源于该模型在函数空间中迭代搜索。

• Mixtral-8x7B + GPT-3 + LLAMA2 70B = 赢家
• 麻省理工学院的研究人员通过先进的神经网络模型揭示了大脑和听觉之间的新深入认识
• 斯坦福大学研究人员引入了一种统一的人工智能框架，用于大型语言模型（LLMs）中的协作和贡献属性

FunSearch内部

FunSearch基于进化方法和语言模型（LLMs）的组合，以改进和增强最佳编程思想。这个过程从用户定义的问题开始，以代码形式呈现，其中包括评估过程和种子程序。种子程序启动了进一步开发的一系列程序。

FunSearch基于一系列关键组件：

1. 问题规范： 用户提供一个问题，以“评估”函数的形式评估潜在解决方案。初始程序通常也包括在内，以开始进化过程。

2. 预训练LLM： FunSearch依赖于Codey，它是基于PaLM2模型系列构建的。Codey在大量代码上经过全面训练，在改进函数方面起到关键作用。值得注意的是，Codey在性能上运行，而不需要特别针对问题进行的训练。

3. 评估： FunSearch的评估组件根据特定输入对LLM生成的程序进行评分。例如，在维度或组合优化问题中，这些输入根据实际任务的具体要求而变化。

4. 程序数据库： 这个数据库维护一个多样化的准确程序集合，对于生成新提示和避免进化过程中的局部最优点非常重要。

5. 提示： FunSearch使用一种称为“best-shot prompting”的方法，根据程序的性能选择和排名数据库中的程序。每个程序根据其得分被分配一个版本号。

6.分布式系统：FunSearch的这个组成部分包括三个主要组件：程序数据库、采样器和评估器，它们都在异步工作。数据库存储和分发程序，采样器使用预训练的LLM创建新函数，评估器评估这些程序的效果。这个复杂的系统，如辅助信息中所示，展示了谷歌DeepMind在推动程序进化领域的全面和动态方法。

FunSearch在行动中

为了评估FunSearch，Google DeepMind决定解决数学和计算机科学领域中一些具有标志性意义的问题。

问题1：帽子集问题

第一个挑战是帽子集问题，这是数学界长期存在的难题。该问题涉及在高维网格中识别出最大的点集，使得任意三个点不共线。与威斯康辛大学麦迪逊分校的数学教授Jordan Ellenberg合作，Google DeepMind解决了这个问题，该问题对至极组合学具有重要意义。由于可能性的天文数字级别，传统的计算方法在这里不起作用，甚至超过了宇宙中所有原子的总数。

FunSearch在这个领域的成就令人瞩目。它生成了能够发现迄今为止已知的最大帽子集的程序，在这个领域取得了超过20年来最重大的进展。它不仅取得了这一成就，而且还超越了当前可用的最先进计算求解器的能力，展示了在处理复杂数学问题上的卓越效率。

问题2：装箱问题

Google DeepMind用FunSearch解决的第二个问题是实际且广泛相关的装箱问题。这个问题涉及将各种尺寸的物品有效地装入尽可能少的箱子中，这是从物流到数据中心管理等众多实际应用中的关键任务。通常，这个问题会根据人类经验制定启发式规则，这些规则因每种情况的具体要求而各不相同。

FunSearch再次展示了其适应性。尽管与帽子集问题存在显著差异，但将其应用于装箱问题非常简单。该工具通过创建一个根据具体任务细节定制的自定义程序表现出色。该程序比传统的启发式算法表现更好，能够更高效地进行装箱，使用更少的箱子。这一成功突显了FunSearch的灵活性和在各个领域中革新问题解决的潜力。

FunSearch代表了今年发表的最有趣的论文之一，它突显了应用LLMs进行新科学探索的潜力。在数学和计算机科学中发现新算法本身就是一项卓越成就，而FunSearch的原理也适用于科学的许多其他领域。