推理基准
-
从峰值算力到每美元Token:TPU推理外化开始碰到英伟达生态的软肋
SemiAnalysis的InferenceX推理基准显示,峰值算力并非决定推理成本的唯一因素。Google TPU外化后,Anthropic通过深度定制内核,在TPU上获得了高于Blackwell的模型FLOP利用率,这让市场开始重新评估CUDA生态的护城河。
SemiAnalysis的InferenceX推理基准显示,峰值算力并非决定推理成本的唯一因素。Google TPU外化后,Anthropic通过深度定制内核,在TPU上获得了高于Blackwell的模型FLOP利用率,这让市场开始重新评估CUDA生态的护城河。