通过分析超过 19.2 万条来自 LLMs 的推理轨迹，并对比 54 条专门收集的人类 “出声思考” 轨迹，揭示了 AI 系统与人类在认知方式上的核心差异 —— 当面对复杂任务时，LLMs 会依赖浅层、线性的推理策略，而非人类自然采用的层级化认知流程，这一发现为评估和改进 AI 推理能力提供了关键框架。
研究团队选取了 18 个不同类型的 LLMs，覆盖文本、视觉、音频三大推理任务，旨在全面考察模型在多模态场景下的思维模式。为了超越 “仅判断答案对错” 的传统评估局限，团队构建了包含 28 个认知元素的分类体系，这些元素涵盖计算约束、元认知控制、知识表征及转换操作等维度，既能清晰追踪模型 “如何得出结论”，也能精准定位其推理过程中的薄弱环节。例如，在分析模型处理数学应用题时，通过该框架可发现，模型虽能给出正确答案，但未像人类那样拆解题目逻辑层次，而是依赖训练数据中的相似模式快速匹配，这种 “结果正确但过程粗糙” 的现象，在复杂任务中更为明显。
从认知架构的根本差异来看，人类推理始终展现出 “层级嵌套” 与 “元认知监控” 两大核心特征。人类会灵活地将信息组织成嵌套结构（如将 “项目执行计划” 拆解为 “任务分工 – 时间节点 – 风险预案” 等子模块），同时主动追踪复杂问题的解决进度，随时反思并调整思路 —— 比如在撰写报告时，会反复检查逻辑是否连贯、数据是否准确。而 LLMs 则主要采用 “浅层前向链推理”，按步骤线性推进问题解决，既缺乏层级化组织能力，也没有自我反思的机制。这种差异在任务模糊或结构不明确时表现得尤为突出：例如面对 “医疗伦理两难问题”（如资源有限时优先救治儿童还是老人），人类能结合道德准则、社会价值、个体情况灵活权衡，而 LLMs 往往陷入单一维度的线性判断，难以应对任务中的不确定性，最终推理效果远逊于人类。
研究还发现，LLMs 虽具备成功推理所需的行为组件（如逻辑演绎、信息整合的基础能力），但通常无法自发调用这些能力。不同类型任务中，模型的表现差异显著：两难推理任务的性能波动最大，小型模型在这类任务中表现尤为挣扎；逻辑推理任务的整体表现中等，且大型模型普遍优于小型模型。更值得关注的是，模型还存在 “反直觉弱点”—— 有时能完成复杂任务，却在更简单的变体任务上失败。例如，某模型能正确解决多步骤的几何证明题，却在判断 “三角形内角和是否为 180 度” 这类基础问题时出错，这一现象表明，LLMs 的推理能力并非单纯随任务难度线性变化，而是依赖训练数据中的模式匹配，而非真正的逻辑理解。
为了探索提升 LLMs 推理能力的路径，研究团队开发了 “测试时推理引导” 机制，通过自动构建有效的认知结构，引导模型采用更接近人类的推理方式。实验结果显示，在复杂问题上，这种引导能使模型性能提升高达 66.7%，证明 LLMs 其实具备更复杂推理的潜在能力，只是需要明确的指导才能有效激活。然而，随着任务复杂度进一步提升，人类与 AI 的推理差距会持续扩大：LLMs 仅能通过前向链推理处理简单直接的任务，而人类在面对模糊或多层级挑战时，会自然运用递归、自我监控的策略 —— 比如在策划大型活动时，会反复回溯调整流程，预判可能出现的问题并提前应对，而 LLMs 面对此类任务时，往往会陷入步骤混乱或停滞。
该研究的另一重要贡献是公开了数据集，为未来对比人工智能与人类智能提供了基准。通过 28 个认知元素的映射，科研人员和开发者能精准定位 AI 推理的 “断点”：例如，在分析模型处理法律案例时，可通过框架发现模型缺乏 “法律条款层级关联” 的认知元素，导致无法准确引用相关法规进行论证。这种 “拆解式评估” 打破了以往将推理视为 “单一能力” 的误区，为针对性改进提供了方向 —— 开发者可通过训练调整强化某类认知元素，或通过提示工程引导模型调用特定思维组件。
从 AI 发展的启示来看，这项研究凸显了当前 LLMs 的核心局限：计算能力与真正认知复杂度之间存在差距。尽管模型在海量数据训练下，能通过模式匹配在众多任务中得出正确答案，但缺乏人类式的反思性、层级化思维，这也印证了行业内对 AI 推理能力的担忧 —— 例如在医疗诊断、法律决策等关键领域，LLMs 可能因推理过程粗糙而引发风险。不过，“引导推理能提升性能” 的发现也带来了改进思路：更优的提示策略（如明确要求模型 “拆解问题层级”）、架构调整（如增加元认知模块），都可能帮助模型激活潜在推理能力。未来，随着对 28 个认知元素的深入研究，LLMs 有望在推理的 “深度” 与 “灵活性” 上逐步接近人类，为更可靠的 AI 应用奠定基础。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/yan-jiu-xian-shi-ren-wu-fu-za-du-ti-sheng-shi-da-yu-yan-mo
