分类:AI编程
在 AI Agent 开发中,工具定义、接口参数和中间结果常被一起塞进上下文。随着工具增多、任务链变长,这种做法正在增加成本并影响准确性。Dev.to 作者、vertciti 创始人 Jiahui Miao 提出,Agent 不应长期携带大量工具定义和数据,而应把工具当作可编程的代码 API:让模型生成程序,由执行环境处理循环、过滤和连接,再把最终结果返回给模型。
定义税与运输税:Agent 的上下文正在被占满
文章把传统工具调用的成本称为两种税。第一是定义税:每个工具定义都长期占据上下文。一个厂商示例在对话开始前,58 个工具已消耗约 55K tokens;工具库越大,模型选对工具越难。第二是运输税:每个中间结果都经过模型搬运,长任务记录会被模型复制,既贵又容易出错。
作者称,Anthropic 和 Cloudflare 去年秋天独立提出同一修正方向:不要把工具当作模型逐个按下的按钮,而是当作代码 API。具体做法是:
- 只加载当前任务需要的 3–5 个工具定义;
- 循环、过滤和连接放在执行环境中运行;
- 只把最终答案或必要摘要返回给模型。
从按钮到程序:适合长链任务,但不适合每一步都需要判断
厂商内部测试显示,传统工具配置约 77K tokens,按需加载后约 8.7K;在大型工具库下,一个模型世代的工具选择准确率从 49% 升至 74%。作者强调,这是厂商自测,幅度需谨慎看待。
一个独立基准较窄,只涉及一个模型、一个服务器和两类任务,并显示输出 tokens 上升 120%、延迟上升 7%。但文章认为方向已有三个独立实现支撑:一万行表格不必让推理模型通读,可由程序过滤后只留下 5 行。上下文窗口是昂贵资源,不应被当作装卸码头。
Cloudflare 将原因解释为假设:工具调用是训练语料中少见的合成语法,代码更接近模型熟悉的语言。文章认为更实用的是厂商“何时不使用”清单:程序化调用适合三个或更多依赖步骤、大结果只需聚合、循环和并行任务;不适合一两步调用,也不适合模型必须读取每个中间结果来判断下一步的链条。
效率之外:读操作可以批处理,写操作不能失去审计
程序化调用还会改变审计。模型逐个调用工具时,每一步都可记录;脚本在执行环境连续执行 50 步时,中间过程可能消失,只剩程序和输出。若程序错误,开发者可能拿到错误答案却看不到路径。
作者举例,脚本可能在人工看到第一封邮件前发出 200 封错误邮件。因此,他要求程序化批处理至少报告三类信息:聚合结果、进入和输出的记录数、原始记录样本指针。写操作更严格:批量写入前先 dry-run,设置数量上限,按动作允许列表执行,并在之后独立回读抽样。支付和外发消息仍逐项审批。原则是:批处理可以合并读取,但不能稀释签署。
文章还澄清,Claude Code 于 11 月 12 日推出的 Code Mode 被误传带来 37% 节省;该数字属于一年前另一个 API 层功能。Code Mode 文档未给出节省数字,且仅限交互式终端会话,不覆盖无头、定时运行的 Agent 系统。其安全说明也提醒:自动审查读取脚本本身,不读取脚本运行时计算出的值。作者建议:方法上可采用程序化纪律,具体产品功能要谨慎启用,并用自己的工作负载测量。
这类做法把 Agent 优化从“塞更多上下文”转向“让数据少经过模型”。模型负责规划和生成代码,执行环境承担数据搬运与批处理;开发者则保留审计、权限和写操作审批。这为 AI 编程工具链提供了一个更具体的评估点:不是模型能否调用更多工具,而是上下文是否被用在真正需要判断的地方。
原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/agent-bu-bi-bei-zhe-shu-ju-pao-rang-mo-xing-xie-cheng-xu