模型服务

  • 当大模型供应商涨价 3 倍,工程师如何把换模型变成一次配置变更

    如果模型供应商明天涨价 3 倍,应用团队要怎么办?掘金平台《AI 应用生产化手册》系列第 18 篇给出的答案不是重新谈价格,而是先改架构。文章把问题拆成多模型架构与厂商可移植性:应用只认逻辑名,供应商映射全部收进网关配置,更换供应商等于修改配置并运行评测回归。这篇内容属于其模块四“成本与网关”的收官部分,前序内容覆盖成本模型、缓存、路由、网关,最终落到厂商可移植。文章提出的核心判断是:厂商锁定不是技术问题,而是架构问题。真正的“供应商无关”只有一条验收标准——业务代码里搜不到任何供应商的名字。在文章给出的结构里,模型调用被分成三层。应用层只出现逻辑名,例如 chat-strong、chat-cheap;网关层负责把逻辑名映射到具体供应商模型,配置集中在 litellm_config.yaml;再往下才是 DeepSeek、OpenAI 等供应商。供应商名称只应出现在网关层,而不是业务代码里。这种设计的目的不是多保存几个模型密钥,而是让“换锁”成为标准能力。文章通过脚本展示映射关系:chat-cheap 指向 deepseek/deepseek-chat,chat-strong 指向 deepseek/deepseek-chat,chat-strong-alt 指向 openai/gpt-4o。仓库文档早期曾写 chat-cheap 指向 openai/gpt-4o-mini,后来为了用一个 Key 跑通全链路改为 DeepSeek。文章由此强调:文档会漂移,配置才是唯一事实来源,因此相关检查命令应进入 CI,而不是靠人记忆。在自动化检查中,脚本会读取应用引用的逻辑名、网关暴露的模型,并验证二者是否一致。示例输出显示,应用引用 chat-cheap、chat-strong,网关暴露 chat-cheap、chat-strong、chat-strong-alt,一致性通过。更关键的是供应商硬编码扫描结果为 0 处。文章将“0 处”视为本篇唯一需要记住的数字:它意味着业务代码中没有 deepseek/…、openai/… 这类字符串,更换供应商时不必逐处搜索代码。虽然目标是“换模型只改配置”,但文章同时提醒:换供应商不等于只改配置。完整链路包括:网关切模型:修改网关配置中的映射。评测回归:用黄金集运行评测。门禁判断:通过率需达到基于基线与容差设定的阈值。灰度放量:经过 A/B 对比后走向全量。没有评测的切换,等于拿线上用户当测试集;新模型再强,也要在自身提示词和业务场景下验证。围绕供应商变化,文章推演了三种场景。若主力供应商涨价,可将 chat-strong 指向另一家同档模型,评测不达标就继续换下一家,或者接受降档;若供应商下线或断供,网关 fallback 自动切到备用模型,应用侧再由降级链兜底;若新增一家更便宜的供应商,则在网关增加一个 model 条目,评测跑通后灰度放量并做 A/B 对比。文章还给出了切换演练方式。以从 DeepSeek 切到 openai/gpt-4o 为例,模拟命令会同时影响 chat-cheap 与 chat-strong,因为二者当前都指向 DeepSeek。这说明真实迁移修改的是映射表,而不是一堆调用点。实际操作时,需要先备份 litellm_config.yaml,再修改 chat-strong 的 litellm_params.model,重启 litellm 后运行配置检查和评测回归;评测通过则灰度放量,不通过则恢复备份并重启。在测试层面,文章提到 pytest tests/test_vendor_switch.py -q 的输出为 6 passed in 0.09s,覆盖真实配置映射读取、应用与网关一致性、缺失模型检出、应用零硬编码扫描、切换模拟和未知供应商不改动等 6 项内容。这套方案最终指向的不是单纯技术整洁,而是成本与议价能力。文章认为,每一个“如果”都应对应一个早已建好的模块:网关、降级、评测、灰度。供应商涨价、断供或出现更便宜的选择时,团队可以按流程迁移,而不是临时救火。能换,才谈得上议价。从生产化角度看,这也将“花多少钱”从月底账单变成可以实时观察、主动降低、随时切换的工程指标。对于大模型应用而言,模型抽象层、配置映射、零硬编码、评测基准和切换演练共同构成了厂商可移植能力。当模型服务的价格和可用性出现变化时,提前建好的架构会比临时修改代码更接近可控。

    大模型 3小时前
    00