在 AI Skill 的模型选型中，一份格式齐整的评测报告原本准备被直接采用。但掘金一篇复盘文章提到，团队曾完成一份针对 Jira Skill 的「高频 Skill 模型适配评估」，为 D1-D8 共 8 个任务场景选出最佳模型。报告包含准确率、Token 和耗时对比，每个模型完成 40 次判定，头部四个模型的准确率都在 97.5% 以上。
作者检查后发现，接近满分未必代表模型差异小，也可能是任务过简单或判分过宽。原报告每个场景只有 1 个 case，每个 case 跑 5 次，只能验证同一个样本的稳定性，不能验证更换 case 后的表现。由 AI 判断输出是否正确，在语义任务中可行，但在逐字复述 bug 信息的任务中风险较高。此外，该 Skill 在 bugfix 流程中真正高频使用的只有获取 bug 信息并下载附件、添加 comment、变更责任人 3 项，8 项任务的综合最佳不一定等于高频 3 项的最佳。
原评测还没有覆盖 sonnet-5-5 和 ds-v4.1-flash。候选模型不全，也会削弱“最佳”结论的说服力。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/gao-fen-bu-deng-yu-he-shi-cong-yi-ci-jira-skill-ping-ce-fu
