谷歌 DeepMind 使用大型语言模型来破译一个著名的纯数学未解决的问题。在12月14日发布在《自然》杂志上的一篇论文中，研究人员表示，这是第一次使用大型语言模型来解决一个长期存在的科学难题，产生以前不存在的新的可验证和有价值的信息。“它不在训练数据中，甚至不知道，”Google DeepMind的合著者兼研究副总裁Pushmeet Kohli说。
伟大的语言模型以发明事物而不是提供新数据而闻名。谷歌的新DeepMind工具FunSearch可能会改变这种状况。它表明，如果他们受到足够的刺激，他们确实可以做出发现，并且他们的大部分结果被丢弃。
它之所以被称为 FunSearch，是因为它搜索数学函数，而不是因为它很有趣，并且由于人工智能，它延续了 Google DeepMind 在基础数学和计算机科学方面的一系列发现。首先，AlphaTensor 找到了一种方法来加速许多不同类型代码根部的计算，打破了 50 年的记录。然后，AlphaDev 找到了一种方法来加速每天使用数万亿次的关键算法。
但是，这些工具没有使用大型语言模型。基于谷歌 DeepMind 的 AI AlphaZero 构建，两者都解决了数学问题，就好像它们是围棋或国际象棋游戏一样。问题在于他们被困在护栏中，该公司的研究员Bernardino Romera-Paredes解释说，他曾同时从事AlphaTenstor和FunSearch的研究。“AlphaTensor 擅长乘法数组，别无他法。”
FunSearch 采用了不同的方法。它结合了一个名为 Codey 的大型语言模型，这是 Google PaLM 2 的一个版本，在计算机代码中进行了微调，与其他系统相结合，这些系统拒绝错误或无意义的答案以重新输入正确答案。
“老实说，我们有假设，但我们不知道它为什么会起作用，”谷歌DeepMind的研究科学家Alhussein Fawzi说。“在项目开始时，我们不知道这是否可行。”
研究人员首先勾勒出他们想要用Python解决的问题。但是他们省略了程序中指定如何解决它的行。这就是 FunSearch 的用武之地，因为它让 Codey 填补空白，即建议解决问题的代码。
第二种算法对 Codey 的提案进行检查和评分。最好的建议 - 即使它们还不正确 - 也会被保存并返回给 Codey，Codey 会尝试再次完成程序。“很多都是没有意义的，有些会很明智，有些会非常受启发，”Kohli解释道。“你选择后者，然后说，'好吧，拿着这个，重复一遍。
经过几百万条建议和整个过程的几十次迭代，FunSearch 设法创建了一个代码，为一般问题提供了一个正确且迄今为止未知的解决方案，即找到给定类型集合的最大大小。想象一下在方格纸上绘制点，问题是如何计算出在没有三个点形成直线的情况下可以链接多少个点。
这很具体，但也很重要。数学家们甚至对如何解决它都没有达成一致，更不用说解决方案是什么了。它还与矩阵乘法有关，AlphaTensor 找到了一种加速计算的方法。加州大学洛杉矶分校的特伦斯·陶曾获得包括菲尔兹奖在内的许多数学最高奖项，他在2007年的一篇博客文章中称插头集问题“也许是我最喜欢的开放式问题”。
Tao 对 FunSearch 的功能很感兴趣：“这是一个很有前途的范式。这是利用大型语言模型功能的一种有趣方式。
与 AlphaTensor 相比，FunSearch 的一个关键优势是，从理论上讲，它可以用来寻找各种问题的解决方案。由于它生成的代码是生成解决方案的配方，而不是解决方案本身。不同的代码会解决不同的问题。FunSearch 结果也更容易理解。根据 Fawzi 的说法，配方通常比它产生的奇怪的数学解决方案更清晰。
为了测试其多功能性，研究人员使用FunSearch来解决另一个困难的数学问题：容器包装，即尝试将物体包装到尽可能少的容器中。这是从数据中心管理到电子商务等各种计算机应用程序的主要问题。FunSearch 想出了一种比人类设计的方法更快的方法来解决这个问题。
数学家们“仍在努力找出将大型语言模型纳入我们的研究工作流程的最佳方式，以利用它们的力量，同时减轻它们的缺点，”Tao说。“这无疑表明了一条可能的前进道路。
