ChatGPT 等编码 AI 系统普遍存在邓宁 – 克鲁格效应（Dunning-Kruger Effect，简称 DKE）—— 在自身能力最弱时，反而表现出最强的自信心。尤其在处理陌生或冷门编程语言任务时，这些 AI 即便输出错误答案，仍会宣称高度确定，这种 “能力与自信的错位” 与训练数据不足、模型架构局限密切相关，也引发了行业对编码 AI 自我判断力可靠性的担忧。
一、邓宁 – 克鲁格效应在编码 AI 中的核心表现：能力与自信的反向失衡
邓宁 – 克鲁格效应的核心特征是 “能力欠缺者高估自身能力，且无法察觉自身不足”，这一人类认知偏差在编码 AI 中呈现出高度相似的规律：
- 冷门语言场景：低能力与高自信的极端错位在 COBOL、Prolog、Ceylon 等训练数据稀缺的冷门编程语言任务中，编码 AI 的实际表现极差（如多项选择题正确率不足 30%），但自我评估的置信度却显著偏高 —— 以 GPT-4o 为例，其在冷门语言任务中的 “绝对置信度”（0-1 分评分体系）平均达 0.65，远超实际正确率对应的合理置信度（约 0.3）；而在 Python、JavaScript 等热门语言中，AI 的置信度与正确率（通常超 80%）更为匹配，甚至偶尔出现 “低估自身能力” 的情况。这种差异表明，训练数据的丰富度直接影响 AI 对自身能力的判断，数据越匮乏，AI 越难察觉自身不足。
- 低性能模型：普遍存在过度自信倾向研究对 Mistral、Phi-3、DeepSeek-Distill、Phi-4、GPT-0.1、GPT-4o 六款模型的测试显示，性能排名靠后的模型（如 Mistral、Phi-3）过度自信问题更严重 ——Mistral 在多语言编码任务中的平均正确率仅 45%，但自我评估的 “相对置信度”（与其他任务的自信度对比）却达 0.72，远超高性能模型 GPT-4o（正确率 82%，相对置信度 0.68）。低性能模型不仅无法精准判断自身输出的正确性，还会在错误答案上表现出 “坚定确信”，进一步放大使用风险。
- 任务类型差异：选择题场景的效应更显著对比 “多项选择题” 与 “开放式代码生成” 任务发现，邓宁 – 克鲁格效应在选择题中表现更强 —— 在 MultiPL-E 数据集的 8 种语言测试中，AI 在选择题中的 “过度置信度”（置信度与正确率差值）平均为 0.35，而在开放式生成任务中仅为 0.18。原因在于开放式任务的正确性判断更复杂，AI 难以快速生成明确的置信评估，而选择题的 “非对即错” 特性让 AI 更容易产生 “虚假确定感”。
二、研究方法：多维度度量 AI 的 “自信与能力差距”
为精准捕捉编码 AI 的邓宁 – 克鲁格效应，研究团队设计了多维度测试体系，覆盖任务类型、模型类型、语言场景等变量：
- 任务与数据设计采用 CodeNet 数据集的 37 种编程语言（涵盖热门语言如 Python、Java，冷门语言如 Ceylon、Elixir），设计数千道多项选择题，要求 AI 在选择正确答案后，通过 “绝对置信度”（单题 0-1 分评分）和 “相对置信度”（任务间置信度排名）两种方式评估自身判断；同时在 MultiPL-E 数据集的 8 种语言中测试开放式代码生成任务，对比不同场景下的效应强度。
- 两种邓宁 – 克鲁格效应的验证
- 个体内效应（Intra-participant DKE）：聚焦单一模型在不同语言场景中的表现，验证其是否在低正确率语言中更过度自信。结果显示，所有模型均符合这一规律，如 GPT-4o 在冷门语言中的过度置信度比热门语言高 0.42。
- 个体间效应（Inter-participant DKE）：对比不同模型的整体表现与自信度，验证低性能模型是否更易过度自信。数据显示，模型正确率与过度置信度呈显著负相关（斯皮尔曼相关系数 0.775，p 值 1.797×10⁻⁸），即正确率每下降 10%，过度置信度平均上升 0.15。
- 变量控制与鲁棒性测试为排除实验设计偏差，研究通过三种方式验证结果稳定性：一是为每个模型设定不同 “角色设定”（如 “资深程序员”“新手开发者”），二是提高采样温度增加输出多样性，三是对提示词进行多轮改写。结果显示，三种方案下邓宁 – 克鲁格效应均持续存在，且在 “高温度采样 + 多提示词改写” 场景中效应最强（过度置信度平均提升 0.2），说明 AI 的过度自信并非特定实验条件的偶然结果，而是内在属性。
三、核心原因：元认知能力不足与训练数据局限
编码 AI 呈现邓宁 – 克鲁格效应的本质，是其缺乏人类的 “元认知能力”（即评估自身认知过程的能力），具体可归结为两点：
- 训练数据驱动的 “能力判断偏差”编码 AI 对自身能力的判断依赖 “训练数据中的模式匹配”—— 在热门语言中，AI 通过大量数据学习到 “特定代码结构对应正确答案” 的规律，能基于 “是否匹配熟悉模式” 评估自信度；而在冷门语言中，数据稀缺导致 AI 无法建立有效模式，只能通过 “通用语言逻辑” 生成答案，并错误地将 “生成流畅性” 等同于 “正确性”，进而产生过度自信。例如，AI 在生成 COBOL 代码时，若能流畅输出语法正确的片段，即便逻辑错误，也会因 “语法匹配熟悉度” 给出高置信度。
- 架构局限导致 “错误无法自我识别”现有编码 AI 的架构缺乏 “自我验证模块”，无法像人类程序员那样 “写完代码后检查逻辑漏洞”——AI 生成答案后，仅能基于 “训练时的反馈信号” 快速评估置信度，而无法进行深度逻辑校验。例如，在处理 “数组越界” 这类隐性错误时，AI 可能因 “代码语法正确” 给出高置信度，却无法察觉逻辑错误，这种 “语法正确≠逻辑正确” 的认知盲区，进一步加剧了过度自信。
四、行业启示：编码 AI 的 “自信陷阱” 需警惕
研究结果为编码 AI 的实际应用提供了关键警示，尤其在高风险场景中需建立 “人工校验机制”：
- 冷门语言任务：必须强制人工审核鉴于编码 AI 在冷门语言中 “低能力高自信” 的特性，涉及 COBOL 等老旧系统维护的任务，不可依赖 AI 直接生成代码，需安排熟悉该语言的工程师进行全量校验，避免因 AI 的错误自信导致系统故障。
- 低性能模型：限制高风险场景使用Mistral、Phi-3 等低性能模型的过度自信问题突出，仅适合用于 “代码灵感辅助” 等非核心场景，不可用于生产环境的代码生成（如金融、医疗系统），高风险场景应优先选择 GPT-4o 等与自身能力匹配度更高的模型。
- 置信度参考：不可作为正确性依据编码 AI 的置信度评分不具备实际参考价值，企业需建立 “基于第三方工具的自动校验流程”（如通过代码编译、单元测试验证正确性），而非依赖 AI 的自我评估，从流程上规避 “自信陷阱”。
研究团队在结论中指出，邓宁 – 克鲁格效应的存在，暴露了编码 AI 在 “元认知能力” 上的根本短板 —— 若要让 AI 真正可靠，未来训练需加入 “自我验证”“错误识别” 等元认知相关模块，让 AI 不仅能生成代码，还能像人类一样 “反思自身输出的正确性”。目前，这一方向的研究仍处于起步阶段，短期内 “人机协同 + 强制校验” 仍是规避编码 AI 风险的核心策略。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/bian-ma-ai-yi-shou-deng-ning-ke-lu-ge-xiao-ying-ying-xiang
