重复问题不再重复计费:AI 应用精确缓存的成本工程实践

LLM 应用中,同一问题重复提交会带来重复模型调用成本。掘金《AI 应用生产化手册》系列提出精确缓存方案,通过 key = hash(model + system 全文 + prompt 全文) 避免灰度串场和旧模型答案污染,并用命中率、延迟与节省金额量化收益。

在 LLM 应用进入生产环境后,同一输入被反复提交时,模型调用费用也会重复发生。掘金《AI 应用生产化手册》系列模块四第 2 篇讨论的解法是精确缓存:当模型、系统提示词和用户问题完全一致时,系统直接返回上一次答案,不再发起模型调用。文章将其称为唯一“零质量损失”的省钱手段。

先做精确缓存,再谈语义缓存

该系列前一篇先通过 cost_model.py 将成本拆到每次调用的输入、输出 token 价格。在此基础上,文章没有先推荐更便宜的模型,而是把缓存作为成本优化的第一抓手。原因很直接:换便宜模型可能带来质量变化,而精确缓存只是“同样的答案不重算”。

文章给出的演进路径也很明确:先做精确缓存,因为它低成本、高确定性;命中率仍然上不去时,再考虑语义缓存;至于 Prefix Caching,则更多取决于供应商能力。作者提醒,如果顺序反了,反而容易制造事故。

缓存 Key 要包含模型、system 和 prompt

精确缓存的核心不是“存答案”,而是如何判断“同一个问题”。文章给出的 key 设计是:key = hash(model + system 全文 + prompt 全文)。三个要素缺一不可。

  • model:不同模型的答案不能混用。
  • system 全文:系统提示词变化后,旧缓存应自动失效。
  • prompt 全文:用户输入完全一致,才视为同一请求。

如果 key 只包含 prompt,会出现灰度之后新旧版本答案互相串的问题;更换模型后,也可能返回旧模型的答案。文章给出的原则是“宁可多失效,不可多命中”。因为缓存返回旧答案,可能比没有缓存更糟,用户可能把旧答案当成当前结果继续使用。

在实现上,示例代码将 model、system、prompt 组成 JSON,再做 SHA-256 哈希。读取缓存时,如果 TTL 过期,就直接删除并视为未命中;命中则增加 hits 计数。文中还提到,生产环境可以把 SQLite 换成 Redis,接口一行不用改。

命中率、延迟和节省金额都要算出来

缓存是否值得做,不能凭感觉。文章给出两个公式:命中率 = 命中次数 / (命中 + 未命中);节省成本 ≈ 命中次数 × 每请求平均成本。每请求平均成本来自前一篇成本模型的测算。如果系统命中率只有 5%,做缓存的收益可能还不如回头优化提示词。

示例中的真实测试覆盖了 6 个用例,包括往返读写、key 区分不同输入、TTL 过期、命中计数、chat_cached 命中不调 LLM、从日志统计命中,输出为 6 passed in 1.50s。

在一次网关不通的极端场景下,同一个问题被发送两次。第一次未命中,触发降级链,返回“抱歉,模型服务暂时不可用,请稍后重试。”,model 为 rule-fallback,degraded 为 true,from_cache 为 false,日志耗时为 11151 毫秒。第二次命中缓存,返回同样文案,但 model 显示为 chat-cheap,degraded 为 false,from_cache 为 true,耗时只有 3 毫秒。文章说明,11 秒来自网关异常下的重试,正常生成大约 1-3 秒;但命中缓存的路径是常数级,不需要排队,也不受模型服务状态影响。

统计脚本进一步把收益变成数字。在使用 0.000461 作为每请求平均成本后,一次命中、一次未命中的结果显示命中率 50.0%,估算节省为 1 × 0.000461 = 0.0005 元。素材中,0.000461 来自 C01 实测:10 次调用总成本 0.004608 元。

对 AI 应用工程的意义

这类做法对包含重复请求的 LLM 应用有直接意义。当模型、系统提示词和用户问题完全一致时,精确缓存可以避免重复调用,把原本会再次发生的模型费用拦在缓存层。

它同时改善了延迟和稳定性。未命中时,系统仍需承担模型生成耗时;命中时,示例中的读取耗时为 3 毫秒。更重要的是,key 中包含 system 全文,使提示词升级、模型切换、灰度发布都能与旧缓存隔离,避免新旧答案串场。

这篇实践把成本模型、缓存设计、日志统计和测试用例连成一条链路:先算清每次请求值多少钱,再判断重复请求是否值得缓存,用命中率和节省金额评估收益,最后用严格的 key 设计避免脏数据。精确缓存不是让模型变得更便宜,而是让同一份已知答案不再反复进入计费链路。

原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/chong-fu-wen-ti-bu-zai-chong-fu-ji-fei-ai-ying-yong-jing

Like (0)
点点的头像点点
Previous 7小时前
Next 2025年10月1日

相关推荐