tokenizer
-
两个字母消耗4223个token:TOP大模型实测揭示账单与推理开关盲区
一次针对TOP大模型的实测显示,两个字母的短请求可能被计为4223个token,推理默认开启也可能吃掉max_tokens。开发者选型不能只看榜单分数,还要核对可调用型号、usage字段、推理档位和真实延迟。
一次针对TOP大模型的实测显示,两个字母的短请求可能被计为4223个token,推理默认开启也可能吃掉max_tokens。开发者选型不能只看榜单分数,还要核对可调用型号、usage字段、推理档位和真实延迟。