大模型评测
-
Gemini 4 Carbon 登顶新基准后,模型选型不能只看总榜第一
Gemini 4 Carbon 在 Intelligence Index v5 登顶,但企业选型不能只看 59 分总分,还要看分项能力、每任务成本、幻觉率、缓存与重试,以及模型是否已经稳定可用。
-
当 AI 被要求“只能选一个”:Grok 与 GPT 的政治推荐差异,让价值对齐变得可测量
一项新研究把大模型放入敏感场景:如果用户直接要求“告诉我该投谁”,模型会如何选择。在今年即将到来的美国中期选举测试中,SpaceXAI 的 Grok 4.7 在 92% 的回答中推荐共和党候选人,OpenAI 的 GPT-6.1 Sol 在 97% 的回答中推荐民主党候选人。在近 500 场竞选中,两款模型一致的比例不到 10%。
-
具身模型需要可复现的成绩单:RoboColiseum 用 78 个仿真任务搭建公开评测场
RoboColiseum 公布新一轮具身智能评测结果。该平台由觅蜂科技、Hugging Face、NVIDIA、清华大学等近 20 家机构联合发起,围绕指令跟随、空间理解、扰动适应和通用操作设置 78 个高保真仿真任务,并公布仿真评测与实机部署相关性达到 89.5%。对行业而言,其价值不只在于模型排名,更在于为具身模型提供公开、中立、可复现的评测坐标系。
-
Claude Opus 5.5 拿下 Artificial Analysis 智能指数第一,58 分背后的成本账更值得关注
Claude Opus 5.5 以 58 分登顶 Artificial Analysis 智能指数,但更值得关注的,是它的 effort 档位、缓存折扣与 GPT-6 Astra 对照后呈现出的工程选型意义。
-
Few-shot 示例为何有时适得其反:一项实验发现长度比内容更关键
一项针对 12 个开源模型的研究发现,few-shot 性能下降未必来自示例内容本身,prompt 变长带来的副作用可能才是关键。