英伟达在AI芯片市场的话语权，长期建立在峰值算力与CUDA生态之上。但SemiAnalysis近期持续更新的InferenceX推理基准，提供了一个更接近生产环境的观察口径：真正决定推理成本的，不只是芯片标称的FLOPs，而是模型算力利用率、每美元Token产出，以及工程团队愿意为深度优化投入多少时间。
在这一框架下，Google自研TPU的外化进程开始显露出现实威胁。最新数据中，Blackwell的峰值算力仍处于行业高位，但Anthropic运行Claude时，在TPU上的模型FLOP利用率反而更高。这一差距并非来自纸面参数，而来自编译器、算子和模型架构的深度适配。
峰值算力不等于推理效率
InferenceX试图回答的问题很直接：如果把硬件价格、电力成本、软件栈效率全部压缩到一个指标里，每美元到底能买到多少实际Token？这类测试与传统的峰值算力叙事形成明显反差。后者通常基于理想矩阵形状、最优内存布局和无外部通信条件，但真实推理负载很难同时满足这些前提。
素材给出的数据呈现出一条清晰谱系：在专门设计的GEMM测试中，Hopper架构大约能达到峰值算力的80%左右，Blackwell约为70%，AMD MI300系列则多落在50%至60%区间。换句话说，芯片厂商出售的峰值FLOPs，并不能直接兑换为数据中心里的有效吞吐。
原因并不神秘。数据中心机柜的电力传输能力通常无法支撑整柜芯片同时跑满峰值，NVIDIA和AMD都需要依赖动态调频，在温度、功耗和电压约束下实时调整时钟速度。请求批次大小、序列长度和注意力模式变化，也会让推理负载下的频率表现更加不稳定。
TPU外化：从内部工具到外部推理选项
Google过去主要将TPU用于内部业务，包括搜索、广告和Gemini等项目。从2024年开始，Google逐步将TPU stack对外开放，涉及TPUv4、TPUv5p，以及正在部署的Ironwood，即TPUv6，和TPUv8i。这一变化的核心逻辑，是希望通过外部客户的规模化使用，摊薄TPU的研发和运营成本。
这一开放并非突然发生。素材提到三个条件同时成熟：其一，Google内部已经验证了TPU在大规模训练和推理中的可靠性；其二，JAX生态降低了外部客户的学习成本；其三，Anthropic、X等客户证明，深度定制内核可以压榨出远超GPU峰值表述的实际效率。
Anthropic是一个关键样本。其团队拥有前Google编译器专家，既熟悉TPU编译链路，也理解Claude的架构特点。他们并非简单把模型迁移到TPU，而是针对Transformer注意力机制、KV cache管理、序列并行等细节编写定制内核。结果是，在相同模型规模下，TPU的MFU可以超过Blackwell的80%以上。
AgentX v3改变比较维度
InferenceX框架中的AgentX v3，进一步改变了推理硬件的评估方式。它不再只关注单次请求延迟或峰值吞吐量，而是将交互性和TTFT惩罚纳入北极星指标。公式本质上是1/TPOT与TTFT惩罚项的组合：TTFT越高，惩罚越重。
这一变化更贴近Agent场景。多轮对话、工具调用和长期运行的工作负载，会让首字延迟的代价被不断放大。预填充阶段跑得快，并不能保证整体体验；真正的瓶颈往往出现在decode阶段的交互节奏和内存系统压力上。
AgentX还暴露出大量生产链路问题，包括KV cache生命周期管理、混合注意力缓存正确性、CPU offload时机、传输进度、路由亲和性、增量分词、请求序列化和调度器记账。这些问题说明，推理竞争已经从单一芯片性能，扩展到系统架构、软件框架和工程组织能力的综合比拼。
素材还提到，AgentX开源不到半年，已有50多个上游PR提交到主流推理框架，涉及nvFP4精度支持、Wide Expert Parallelism、Disaggregated Prefill优化等方向。这些改动并非理论验证，而是直接由生产流量压测推动。
英伟达的应对与选型边界
在B300相关数据中，素材指出其相比B200多出50% HBM，并在384并发agent追踪场景下，配合vLLM的简单DRAM offload策略，实现91%的HBM缓存命中率。这显示额外显存在Agent负载下可以转化为吞吐量，但素材同时认为，B300和B200在TCO normalized性能上相当，B300的边际优势更多来自HBM容量，而非架构层面的突破。
英伟达官方回应较为简短，主要引用InferenceX数据，强调GB300 NVL72是“最佳性能驱动最低推理成本”的平台，但并未直接回应MFU对比。素材中的市场反应显示，英伟达曾单日蒸发5930亿美元，次日反弹8.9%；机构层面并未出现明显恐慌，雪佛龙和GE Vernova也在DeepSeek事件后宣布为数据中心建设专用发电厂，显示大型基础设施决策仍以更长周期为主。
不过，CUDA护城河也没有被一次基准测试击穿。更准确的说法是，它正在被多个因素缓慢侵蚀：客户开始用每美元实际Token吞吐量评估硬件；InferenceX让MFU成为可公开核验的指标；Anthropic等团队用定制内核证明，TPU在特定条件下可以实现更高利用率。
选型也因此变得更加分层。传统NVIDIA路径适合快速上线，客户购买GPU实例，使用vLLM、TGI等成熟框架，但优化空间相对有限。TPU路径适合高负载、长期运行的核心业务，但前提是团队具备编译器、算子和模型架构层面的工程能力；否则，TPU的性价比可能只停留在纸面。混合架构则适合流量波动较大的场景，例如将预填充和解码分离，在不同阶段使用不同硬件。
TPU外化的真正意义，不在于某一代芯片是否在单点性能上超过GPU，而在于它把竞争从硬件参数表推向软件工程能力。对于拥有编译器专家和模型架构知识的团队，这条替代路径正在打开；对于缺乏工程储备的团队，CUDA生态仍然具备现实吸引力。
大模型
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/cong-feng-zhi-suan-li-dao-mei-mei-yuan-token-tpu-tui-li-wai
