给自主Agent加一道低延迟安全闸:用FastAPI和AST测试拦截提示注入与危险调用

PromptGuard 用 FastAPI、AST 解析和 8 组 pytest 不变式测试,在提示或工具输出进入模型上下文前进行确定性检查,将常见的二次 LLM 安全审查延迟从 400ms–1,200ms 压缩到低于 0.5ms。

当 AI Agent 被赋予 shell、数据库或文件系统工具后,风险不再只是回答错误,而是外部文本可能诱导执行危险操作。来自 Dev.to AI 的一篇技术文章展示了一个名为 PromptGuard 的方案:用 FastAPI 构建一个零依赖微服务,在提示或工具输出进入模型上下文前进行确定性检查。作者称,该服务可在低于 0.5ms 内完成拦截,而常见的二次 LLM 安全审查通常会给每轮调用增加 400ms–1,200ms 延迟,并消耗额外 token。

不再把安全判断交给另一个模型

在带外部输入的 Agent 系统里,一个不可信网页、GitHub issue 评论或 RAG 检索片段,都可能成为远程代码执行攻击的入口。过去常见做法是再加一个“安全模型”,让它判断输入是否危险。这类方法能覆盖部分语义风险,但也引入新的不确定性:判断速度、成本和误报率都会随调用量上升。

PromptGuard 的思路是把可规则化的风险前置到确定性层。它不询问大模型“这个提示是否安全”,而是先检查三类明确特征:

  • 提示覆盖:匹配预设注入模式,一旦命中即标记为 critical。
  • 分隔符伪装:识别类似伪造系统边界或消息格式的内容,命中后至少标记为 suspicious。
  • 危险代码调用:在严格模式下,对包含 eval(、exec(、__import__、compile(、os.、subprocess. 等特征的文本进行 Python AST 解析。

AST 扫描盯住高风险函数调用

该方案的核心并不只是正则匹配。对于进入严格模式的文本,系统会尝试将其解析为抽象语法树,并遍历节点,寻找可能构成执行风险的调用。素材给出的实现会检测 eval、exec、__import__、compile 等直接执行或导入函数;同时也会检查 os 或 subprocess 下的 system、popen、run、Popen、call、check_output 等 shell 相关调用。

如果检测到风险,返回结果中的 safe 字段为 False,威胁等级设为 critical,并列出具体命中项。若未发现问题,则返回原始文本;若发现问题,原始提示会被替换为 [REDACTED_PROMPT_INJECTION]。返回体还包含耗时、威胁等级和检测到的模式,便于上游系统记录或拦截。

这种设计把安全检查变成一个可部署的 HTTP 节点。通过 FastAPI 暴露的 /v1/scan 与 /v1/batch-scan 接口,Python、TypeScript、Go 或 Rust 编写的 Agent 都可以把同一套校验逻辑接入自己的工作流。

8 组 pytest 不变式测试固化边界

文章另一个重点是测试。作者使用 pytest 与 TestClient 构建了 8 组确定性不变式检查,用于覆盖典型安全场景:

  • 正常提示应被判定为安全。
  • 指令覆盖类文本应被识别。
  • 多模式越狱内容应触发相应规则。
  • ChatML 分隔符伪装应被捕获。
  • subprocess.Popen 等 AST shell 执行应被标记为危险。
  • __import__(‘os’).system 一类写法应被纳入检测。
  • 端点状态契约也被纳入检查。
  • 严格模式下的 AST 防护会被验证。

素材中的测试示例显示,输入 eval(‘2 + 2’) 会返回不安全,并命中“Dangerous AST Execution Call: eval”;输入 import subprocess 后调用 subprocess.Popen([‘ls’]),也会命中“Dangerous AST Shell Call: subprocess.Popen”;而 print(‘Hello World’) 则被判定为安全。

对 Agent 工程的意义

这一方案的价值,不在于宣称能解决所有模型安全问题,而在于把部分高风险行为从概率判断转为工程规则。对需要低延迟和可验证性的 Agent 系统而言,低于 0.5ms 的检查成本,使其更容易被放在模型调用之前;8 组不变式测试则让规则变化可以被回归验证,避免安全策略在迭代中悄悄失效。

当 Agent 开始读取网页、处理评论、调用工具并执行代码,安全边界必须从“模型是否聪明”转向“系统是否可控”。PromptGuard 提供了一个可参考的路径:用确定性接口承接外部输入,用 AST 识别危险调用,用自动化测试固定安全契约。

原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/gei-zi-zhu-agent-jia-yi-dao-di-yan-chi-an-quan-zha-yong

Like (0)
点点的头像点点
Previous 1天前
Next 23小时前

相关推荐