
在人工智能(AI)搜索领域,一场新的变革正在悄然发生。Sentient基金会的研究人员近期发布了开放深度搜索(Open Deep Search,简称ODS),这一开源框架旨在与诸如Perplexity和ChatGPT搜索等专有AI搜索解决方案一较高下,甚至超越它们。
一、AI搜索的现状与挑战
现代AI搜索工具,如Perplexity和ChatGPT搜索,通过结合大型语言模型(LLMs)的知识与推理能力,以及网络搜索功能,能够提供实时、准确的答案。然而,这些解决方案大多是专有且闭源的,这限制了它们的可定制性和在特殊应用场景中的适应性。
Sentient的联合创始人Himanshu Tyagi指出:“AI搜索领域的大多数创新都发生在幕后,开源努力在可用性和性能方面历来落后于闭源解决方案。ODS旨在填补这一空白,证明开放系统能够在质量、速度和灵活性方面与封闭系统相媲美,甚至超越它们。”
二、开放深度搜索(ODS)的核心架构
ODS被设计为一个即插即用的系统,能够与开源模型(如DeepSeek-R1)和闭源模型(如GPT-4o和Claude)无缝集成。其核心由两个组件构成:
- 开放搜索工具:该组件接收用户查询,并从网络上检索相关信息,作为上下文提供给LLM。为了改进搜索结果并确保其相关性,开放搜索工具执行了一系列关键操作,包括重新表述原始查询以拓宽搜索范围、从搜索引擎中获取结果、从顶部结果中提取上下文(如摘要和链接页面),以及应用分块和重新排序技术来过滤最相关内容。此外,它还针对特定来源(如Wikipedia、ArXiv和PubMed)进行了自定义处理,并能够在遇到冲突信息时优先考虑可靠来源。
- 开放推理代理:该代理接收用户的查询,并利用基础LLM和各种工具(包括开放搜索工具)来制定最终答案。ODS提供了两种不同的代理架构:ODS-v1采用ReAct代理框架与链式思考(Chain-of-Thought,CoT)推理相结合;ODS-v2则利用链式代码(Chain-of-Code,CoC)和CodeAct代理,后者使用Hugging Face的SmolAgents库实现。ODS-v2能够协调多个工具和代理,从而解决可能需要复杂规划和多次搜索迭代的更复杂任务。
三、性能与实践结果
Sentient通过将ODS与开源模型DeepSeek-R1配对,并与流行的闭源竞争对手(如Perplexity AI和OpenAI的GPT-4o搜索预览)以及独立LLMs(如GPT-4o和Llama-3.1-70B)进行测试,评估了其性能。他们使用了FRAMES和SimpleQA问答基准来评估搜索启用AI系统的准确性。结果表明,ODS在竞争力方面表现出色。无论是ODS-v1还是ODS-v2,当与DeepSeek-R1结合使用时,都超过了Perplexity的旗舰产品。特别是ODS-v2与DeepSeek-R1在复杂的FRAMES基准上超越了GPT-4o搜索预览,并在SimpleQA上几乎与其持平。
此外,ODS框架的效率也令人印象深刻。两个版本的推理代理都学会了明智地使用搜索工具,经常根据初始结果的质量来决定是否需要额外的搜索。例如,与FRAMES中更复杂的多跳查询相比,ODS-v2在更简单的SimpleQA任务上使用的网络搜索次数更少,从而优化了资源消耗。
四、对企业的影响
对于寻求基于实时信息的强大AI推理能力的企业而言,ODS提供了一个透明、可定制且高性能的专有AI搜索系统替代品。通过能够插入首选的开源LLMs和工具,组织对其AI堆栈的控制力更强,并避免了供应商锁定。Tyagi表示:“ODS在设计时就考虑到了模块化。它基于提示中提供的描述动态选择要使用的工具。这意味着只要它们被充分描述,它就可以流畅地与不熟悉的工具进行交互,而无需事先接触。”然而,他也承认,当工具集变得臃肿时,ODS的性能可能会下降,“因此,精心的设计至关重要。”
Sentient已将ODS的代码发布在GitHub上。Tyagi表示:“最初,Perplexity和ChatGPT的优势在于其先进技术,但有了ODS,我们已经在这个技术领域实现了平等竞争。我们现在旨在通过我们的‘开放输入和开放输出’策略超越它们的能力,使用户能够无缝地将自定义代理集成到Sentient Chat中。”
原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/kai-fang-shen-du-sou-suo-tiao-zhan-perplexity-yu-chatgpt