27B 编码智能体本地化:16.5GB 文件如何进入单张 24GB GPU
分类:AI编程
POCKET-27B-Pi 把 Qwen3.8-27B 基底与 pi 编码代理适配器合并进权重,并量化为一个 16,547,400,320 byte 的 GGUF 文件。对本地开发者而言,这次发布的关键不在“27B”本身,而在于它给出了一套可核算的内存预算:在混合注意力结构下,64K 上下文的 KV 缓存被压低,使 Q4_K_M 文件加缓存可以放入一张 24GB GPU。
单文件交付:两个 GGUF、Apache-2.0
据 Dev.to AI 披露,VIDRAFT 是 Ginigen 的技术伙伴;基准数字来自 VIDRAFT 自测,内存计算基于公开文件。POCKET-27B-Pi 的 Hugging Face 仓库 FINAL-Bench/POCKET-27B-Pi-GGUF 提供两个文件:Q4_K_M 为 16,547,400,320 bytes(16.5 GB),Q6_K 为 22,082,529,920 bytes(22.1 GB)。仓库许可标记为 Apache-2.0。由于适配器已合并,服务端只需加载一个文件,不需要在推理时额外挂载 adapter。
这个尺寸面向的是工作站、配备 24GB GPU 的小型主机,以及放在开发者办公室的本地设备,而不是必须依赖云端 API 的部署。
内存预算:64 层中只有 16 层保存 K/V
模型权重是固定成本,真正决定长编码会话能否装进显存的是 KV 缓存。POCKET-27B-Pi 基于 Qwen3.8-27B,而后者是混合结构:config.json 的 text_config 显示,num_hidden_layers 为 64,其中 layer_types 为 full_attention 的层有 16 个,num_key_value_heads 为 4,head_dim 为 256。只有这 16 个全注意力层会按 token 保存 K 和 V;其余 48 个线性注意力层的状态不随上下文增长。
按此计算,每个 token 在 f16 下需要 2 × 16 × 4 × 256 × 2 = 65,536 bytes。64K 上下文对应 4.0 GiB 的 f16 缓存;如果改用 llama.cpp 的量化缓存,q8_0 为 2.13 GiB,q4_0 为 1.13 GiB。
- Q4_K_M 权重 + 64K f16 缓存:约 19.55 GiB,未包含计算缓冲。
- 24GB GPU:在计入计算缓冲前可装入上述组合。
- 缓存换成 q8_0:可省出约 1.9 GiB,为并发会话留空间。
文中提到,VIDRAFT 的基准测试曾在一块 GPU 上并行运行 eight agent sessions,因此并发余量是本地装机时需要关注的指标。
Terminal-Bench 2.1:48 个共享任务中完成 28 个
在 VIDRAFT 自己的 Terminal-Bench 2.1 测试中,pi 编码代理关闭 thinking,每个任务一次尝试、每个任务一小时,并在一块 GPU 上并行 eight agent sessions。统计四个构建都完成的 48 个任务后,POCKET-27B-Pi Q4_K_M 完成 28 个,完成率 58.3%;原始 Qwen3.8-27B 完成 19 个,完成率 39.6%。
相对提升方面,文中给出的数字为:较原始模型提高 +47%,较 53.8 GB 全精度 pi 版本提高 +33%,而 Q4_K_M 文件比后者小 3.3 倍。
在更细的直接对比中:
- 50 个共享任务:Q4_K_M 完成 30 个,全精度原始版本完成 23 个。
- Q4_K_M 与 Q6_K 在 62 个直接对比任务中各完成 39 个,文中因此认为更小的文件更适合交付。
- 同一 50 任务集:POCKET-27B-Pi 完成 29 个,中位数为 15 agent turns,没有运行达到 100-turn cap;未改动的 POCKET-27B 基底完成 19 个,中位数为 36.5 turns,14 runs 达到上限。
对本地编码代理的工程含义
编码代理是在时间预算内工作的系统:每个任务有一小时预算,每一轮都要等待模型输出。16.5 GB 的构建每生成一个 token 读取的字节少于 53.8 GB 构建,因此在同一块 GPU 上可以在时间耗尽前完成更多轮次和更多任务。文中进一步指出,消费级硬件上的解码速度很大程度上是内存带宽问题:每秒生成 token 数约等于带宽除以每个 token 读取的字节数,因此文件体积缩小到约三分之一,会带来约三倍的速度上限。
文中给出的本地服务方式是用 llama-server 加载 FINAL-Bench/POCKET-27B-Pi-GGUF:Q4_K_M,设置 -c 65536,并通过 –chat-template-kwargs ‘{“enable_thinking”:false}’ 关闭 thinking;若要为并发会话留余量,可加入 –cache-type-k q8_0 –cache-type-v q8_0。pi agent 可通过 ~/.pi/agent/models.json 将 baseUrl 设为 http://localhost:8080/v1。文件下载后,整个循环可以离线运行,源代码保留在本机。
在把团队流程切到本地编码代理前,文中建议先用自己的任务集复测,并记录 llama.cpp 版本和 GGUF 文件哈希,使后续模型替换成为可控对比,而不是凭感觉判断。
原创文章,作者:点点,如若转载,请注明出处:https://www.dian8dian.com/27b-bian-ma-zhi-neng-ti-ben-di-hua-16-5gb-wen-jian-ru-he