UI 视觉回归测试长期依赖像素 diff：比较两张截图，统计不同像素比例，超过阈值就报警。但字体渲染抖动、动画时序差异、时间戳或广告位等随机内容，也会制造类似真实缺陷的像素差异。问题因此变成：LLM 或视觉语言模型能否判断“这个变化是不是 bug”。现有开源项目给出了两条不同路线。
高星工具仍依赖数字阈值
BackstopJS 是这一赛道关注度最高的开源项目之一，有 7,182 star，MIT 协议，最近提交时间为 2026-09-08。它的核心依赖是 @mirzazeyrek/node-resemble-js，逻辑是逐像素比较截图，统计差异比例，超过阈值判定回归。对代码库搜索 AI/LLM 关键词，结果为零，说明它没有语义判断层。
面对渲染噪声，BackstopJS 的手段是统计容差配置。阈值放宽可以减少动画时序、字体渲染抖动造成的误报，但也可能放过像素占比只有 2% 的真实视觉缺陷。这是纯像素比较的结构性边界。Lost Pixel 也类似，它有 1.7k star，底层比较引擎可在 pixelmatch 和 odiff 之间切换，但源码中的 AI/LLM 关键词同样为零。
vlmkit 用三层结构限制模型裁量权
相比之下，mizchi/vlmkit 只有 23 star，MIT 协议，最近提交时间为 2026-09-24。它把自己定位为“前端工作的确定性验证工具包”，也是素材中唯一明确让 VLM 参与变化判断的开源实现。它没有直接“把截图丢给模型”，而是把流程拆成三层。
第一层是纯确定性像素 diff。src/vrt/snapshot/snapshot.ts 有 763 行，没有 LLM 调用，支持桌面 1280×900 和移动端 375×812 等多视口截图，包含阈值 diff、位移检测和 stability 模式。stability 模式会对同一基线反复截图运行 N 次，测量没有变化时渲染噪声本身可能造成多高误报，并输出 overallFalsePositiveRate 指标。
第二层是无需基线图的完整性门禁。它会检测 JS 报错、图片/样式表/字体加载失败、文字重叠或被裁切、容器塌陷、横向溢出、不可见或低对比度文字、元素错位等问题，文档列出 A1 到 A12 十二类缺陷。代码注释明确写道，每一个探测器都是确定性的，基于 DOM 测量和像素数学；是否豁免由工具判断，不交给下游 AI agent 决定。
第三层才是 VLM 与 LLM 两阶段推理管线。它完全可选，并受 OPENROUTER_API_KEY、GEMINI_API_KEY、ANTHROPIC_API_KEY 等密钥门控。README 的原则是：除非标注 [key]，否则无需密钥。缺少 key 且 throwIfMissing 为 false 时，系统返回 null 而不是报错。也就是说，AI 层可以被整体关闭，不影响核心视觉回归测试能力。
语义判断的价值与风险
从素材看，VLM 想解决的是像素数值无法表达的问题：同样是一组不同像素点，可能是抗锯齿边缘抖动，也可能是某个元素颜色真的变了。vlmkit 的第一阶段会尝试把这种判断整理成结构化的 CHANGE 记录，而不是只给出“有变化”的笼统结论。
但模型判断并不稳定。vlmkit 的 docs/knowledge.md 记录了 google/gemini-2.5-flash-lite 的一条评测结果：1937ms、1640 tokens，并标注“uniformly hallucinates `red → red`”。按素材解释，该模型会把热力图中被标红的区域，误判成颜色从红变成红。即使提示词中已经写了反幻觉规则，这类错误仍会出现。
因此，vlmkit 的工程选择是把模型限制在较窄环节：确定性方法先框定差异范围，模型再负责描述变化或给出修复建议；在有真实 CSS diff 等权威数据时，模型需要服从数据，而不是自行猜测。
素材也提供了其他参照。Percy 的 Visual Review Agent 宣称通过自然语言描述 diff 可以减少 40% 误报，但仍需人工审核确认。Chromatic 的 TurboSnap 通过依赖树分析将快照数量减少 60-90%，这属于缩小对比范围，并非语义判断变化。另一个名为 crater 的绘制树 diff 预扫描器则不比较像素，也不调用 LLM，通过比较浏览器绘制树结构变化，在完整 Chromium 渲染前确定性捕获约 60% 的视觉变化，实测误报率 0%。这提示在像素 diff 和 LLM 判断之间，还存在更结构化的中间路线。
行业意义
这组对比说明，视觉回归测试引入 LLM，并不是简单替换传统算法。BackstopJS 和 Lost Pixel 代表了成熟的阈值比较路线；vlmkit 则展示了模型进入测试流程时需要的边界：确定性代码先处理可量化部分，模型只参与有限环节，并且可以随时关闭。
对开发团队来说，真正需要评估的不是“有没有 AI”，而是工具如何划分像素数学、DOM 检查和模型判断的职责。UI 变化是否影响用户，既需要数值证据，也需要语义解释；模型可以提供解释，但不应成为没有约束的最终裁决者。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/xiang-su-yu-zhi-zhi-wai-llm-jin-ru-ui-shi-jue-hui-gui-ce
