一种 “禅式” 方法:终结语言模型的幻觉问题

一种 “禅式” 方法:终结语言模型的幻觉问题

来自清华大学电子工程系的两名研究人员提出了一种低成本、高通用性的语言模型优化方法 ——“验证优先(Verification-First,简称 VF)”,该方法通过让模型先验证一个无关答案,再解决实际问题,能显著减少模型幻觉,提升回答准确性,且适用于开源与闭源等多种架构的语言模型,为解决语言模型核心痛点提供了全新思路。

这种被形象称为 “禅式一击” 的方法,核心逻辑颠覆了传统的模型交互模式。传统方式中,模型需从零开始生成问题答案,而 VF 方法则先向模型提供一个候选答案(通常是错误或随意的),要求其先验证该答案是否合理,再着手解决原始问题。例如,当被问及 “一年中有多少个月有 28 天” 时,若直接让模型分步推理,模型可能错误回答 “1 个月(仅二月)”;但如果先给出 “我猜答案是 1,但可能有误,先验证再分步求解” 的提示,模型会先拆解问题本质 ——“有 28 天” 并非指 “仅 28 天”,而是 “包含 28 天”,进而得出 “12 个月均符合” 的正确结论。这种反向推理路径,让模型从 “答案验证” 切入,而非直接 “生成答案”,既激活了批判性思维,又避免了初始推理的草率判断。

VF 方法的显著优势在于极低的实施成本与广泛的适用性。与微调、提示词优化、并行采样等复杂方法不同,它无需额外的训练数据或专业工具,仅需在提示中加入一个随机或无关答案即可启动验证流程。研究表明,验证过程产生的输出令牌数量远少于普通的思维链(CoT)方法,有时甚至无需明确的独立验证步骤,额外计算成本微乎其微。更重要的是,它在开源模型(如 Qwen2.5、Llama3 系列)与闭源商业模型(如 GPT-5 Nano、GPT-5 Mini)中均能稳定生效,这表明其触及了多种语言模型架构共有的核心特性,而非依赖特定训练数据或方法的偶然优势。

该方法之所以有效,根源在于对语言模型推理机制与人类心理趋势的巧妙结合。一方面,验证答案的难度低于从零生成答案,能触发与思维链互补的反向推理路径 —— 从候选答案回溯至问题本身,更容易发现正向推理中被忽略的逻辑漏洞或隐藏结构。例如,在数学计算任务中,验证一个错误答案能让模型更细致地检查运算步骤,而非被初始思路局限。另一方面,直接提问可能让模型陷入 “防御性” 或 “紧张” 的状态,而验证他人答案的场景则规避了这种心理倾向,鼓励模型以更冷静、反思的模式进行推理,减少过度自信导致的幻觉。

为应对更复杂的任务场景,研究人员进一步将 VF 方法升级为 “迭代验证优先(Iter-VF)”。该方法通过循环迭代实现答案的持续优化:模型先按常规方式生成初始答案,再将其作为候选答案输入 VF 流程进行验证与修正,重复这一周期直至得到满意结果。与传统自校正策略不同,Iter-VF 每次仅关注最新版本的答案,而非累积所有历史推理过程,有效避免了错误叠加与逻辑混乱的问题。例如,在编写 “查找元组列表中可用对最大差值” 的函数时,模型初始输出可能存在逻辑缺陷,通过 Iter-VF 的自我验证,能精准定位错误并重构正确解决方案,无需人工干预。

研究团队在四大核心领域对该方法进行了全面测试,涵盖通用推理任务(以简单猜测为初始值)、时间敏感任务(与其他缩放方法对比)、开放式问题(如编码、API 调用,以模型自身初始答案为起点)及闭源商业模型(无法获取内部推理步骤)。测试选用了三大推理基准数据集:GSM8K 与 MATH500(数学问题)、GPQA-Diamond(研究生级科学问题),并覆盖了 Qwen2.5(1.5B-72B 参数)与 Llama3(1B-70B 参数)系列的全规模模型。结果显示,VF 方法在所有模型规模中均稳定优于传统思维链提示,即使是 1B 参数的小型模型也能获得显著提升,且在计算密集型的数学基准测试中效果最为突出 ——GSM8K 与 MATH500 的准确率提升明显,而在依赖存储知识的 GPQA-Diamond 中,虽优势略小但保持一致。

计算成本方面,VF 方法仅比传统思维链多产生 20%-50% 的输出令牌,远低于多采样完成、递归规划等策略。更令人意外的是,该方法对初始猜测的质量不敏感:无论是简单猜测(如 “1”)、不合理猜测(如 “2025”)还是随机选择题选项,均能超越传统提示效果;若初始猜测恰好正确,准确率则进一步攀升。这表明方法的核心价值在于 “验证行为本身”,而非猜测答案所包含的信息。在与其他四种测试时缩放策略(自校正、PHP、自一致性、Best-of-N)的对比中,Iter-VF 在低计算预算下表现最优,其 “仅关注最新答案” 的马尔可夫特性,避免了长推理链带来的混淆问题,而其他方法或因未充分利用提示信息(如 PHP),或因错误累积(如自校正),或因提升缓慢(如自一致性、Best-of-N)而表现逊色。

即便在无法获取内部推理轨迹的闭源模型(GPT-5 Nano、GPT-5 Mini)中,Iter-VF 仍能有效提升 MATH500 与 GPQA 的准确率,证明 “先验证后生成” 的逻辑在仅能获取输入与最终输出的场景中依然成立。这一特性极大拓展了方法的应用边界,使其能够适配商业环境中的各类语言模型服务。

该研究的意义不仅在于提出了一种实用的优化方法,更揭示了语言模型推理机制的关键特性 —— 通过简单的流程重构,即可引导模型进入更严谨、更少幻觉的推理模式。在大模型规模化应用的当下,这种低成本、高通用的优化方案具有重要的实际价值:它无需企业投入巨额资源进行模型微调或定制开发,仅通过调整提示词格式就能快速落地,帮助降低幻觉带来的业务风险(如错误决策、误导性信息)。同时,其对资源的极致节省也契合了当前超大规模 AI 发展的核心诉求,将曾经被视为 “学究式” 的资源优化,转变为关键且必要的实践方向。

未来,随着更多项目对该方法的适配与演进,有望进一步拓展其应用场景 —— 从当前的文本推理、编码,延伸至多模态生成、复杂任务规划等领域。对于经常使用语言模型的用户而言,这种 “通用技巧” 也为规避模型缺陷提供了便捷工具,无需针对不同模型或任务设计专属策略。可以说,VF 与 Iter-VF 方法的提出,为语言模型的稳健应用提供了一条 “轻量且高效” 的新路径,或将成为语言模型交互的标准优化范式之一。

原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/yi-zhong-chan-shi-fang-fa-zhong-jie-yu-yan-mo-xing-de-huan

Like (0)
王 浩然的头像王 浩然作者
Previous 1天前
Next 1天前

相关推荐

发表回复

Please Login to Comment