阿里巴巴集团的研究人员开发出了一种创新方法，有望显著降低训练AI系统进行信息搜索的成本和复杂性，甚至完全消除对昂贵商业搜索引擎API的依赖。这项技术被命名为“ZeroSearch”，它允许大型语言模型（LLM）通过模拟而非与真实搜索引擎交互的方式，发展出高级搜索能力。
ZeroSearch：一种革命性的训练框架
在AI系统的训练过程中，尤其是强化学习（RL）训练，通常需要频繁的搜索请求，这些请求可能高达数十万次，从而产生了巨大的API费用，并严重限制了可扩展性。为了解决这一挑战，阿里巴巴的研究团队提出了ZeroSearch，一个无需与真实搜索引擎交互即可激励LLM搜索能力的强化学习框架。
解决行业痛点
开发能够自主搜索信息的AI助手的公司面临两大挑战：一是训练过程中搜索引擎返回文档的质量不可预测，二是向谷歌等商业搜索引擎发出数十万次API调用的成本高昂得令人望而却步。ZeroSearch正是为了解决这些问题而生。
技术原理与创新
ZeroSearch的技术方案从一个轻量级的监督微调过程开始，将LLM转变为一个检索模块，该模块能够根据查询生成相关和不相关的文档。在强化学习训练阶段，系统采用了一种“基于课程的推出策略”，逐步降低生成文档的质量。研究团队的核心见解是，LLM在大规模预训练过程中已经获得了广泛的世界知识，因此能够在给定搜索查询的情况下生成相关文档。真实搜索引擎与模拟LLM之间的主要区别在于返回内容的文本风格。
实验验证与卓越表现
在七个问答数据集上的综合实验中，ZeroSearch不仅与使用真实搜索引擎训练的模型表现相当，而且往往更胜一筹。特别值得一提的是，一个拥有70亿参数的检索模块在性能上可与谷歌搜索相媲美，而一个140亿参数的模块则超越了谷歌搜索。
显著的成本节约
成本节约是ZeroSearch的另一大亮点。研究人员分析指出，使用谷歌搜索通过SerpAPI处理约64,000个搜索查询的成本约为586.70美元，而使用四个A100 GPU上的140亿参数模拟LLM的成本仅为70.80美元，成本降低了88%。
对AI行业的深远影响
ZeroSearch的出现标志着AI训练方式的一次重大转变。它表明，AI系统可以在不依赖外部工具如搜索引擎的情况下进行自我提升。这一突破对于AI行业具有深远的影响，尤其是对于预算有限的小型AI公司和初创企业而言，它降低了开发复杂AI助手的门槛，使先进AI训练更加普及。
此外，ZeroSearch还赋予了开发人员对训练过程更大的控制权。使用真实搜索引擎时，返回文档的质量是不可预测的，而模拟搜索则允许开发人员精确控制AI在训练过程中看到的信息。
技术开放与未来展望
阿里巴巴的研究团队已经将ZeroSearch的代码、数据集和预训练模型发布在GitHub和Hugging Face上，供其他研究人员和公司使用。随着大型语言模型的不断发展，像ZeroSearch这样的技术预示着未来AI系统可能通过自我模拟而非依赖外部服务来发展出越来越复杂的能力，从而改变AI开发的经济模式，减少对大型技术平台的依赖。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/a-li-ba-ba-de-zerosearch-rang-ai-xue-hui-zi-wo-sou-suo-xun
