用决策模型做评测：先调阈值（Hamel Husain）
外链 Hamel Husain 与 Antaripa Saha 的文章（2026-10-20）：把 Jev 等决策模型用作评测判官，为每个模型调整阈值而不是直接用 0.50，比较成本与效果，并在把分数当作置信度之前先检查校准。
这份指南指向哪里
Hamel Husain 与 Antaripa Saha 在 Hamel 的博客上发布了 How To Use Decision Models for Evals（2026-10-20）。他们使用一个公寓租赁客服智能体的 100 条运行记录，让每个决策模型给出“该记录存在实质性错误”的概率；去掉两条内部测试样例后，实际评分 98 条。参测模型：Jev 1.13、Perplexity Decider 1.1 27B、Liquid d1 和 d1-ultra、Cloudflare Clef Flash，以及 OpenAI Decisions。Jev 以结构化的 noul 问题接收相同的判定标准，附录给出了该 JSON。
核心观点：直接使用默认阈值 0.50 可能损失大量效果。他们先设定精确率和召回率都不低于 80%，再用已保存的分数做分层五折交叉验证来调整各模型的阈值，不需要再次调用模型。在这个数据集上，OpenAI Decisions 的 F1 为 0.87，每 100 次运行 3.72 美分；Perplexity 的 F1 为 0.79，每 100 次运行 0.82 美分。校准方面，Jev 和 Liquid d1-ultra 本身已校准得较好（Jev 的 Brier 分数在 Platt 缩放前为 0.187，缩放后为 0.188）。文章还给出两段可直接交给编程智能体的提示：一段用于调阈值，一段用于检查校准。
本页仅为非官方手册入口——主张请对照原文与 TypeSafe 现行文档 核验。作者指出结果因任务和数据集而异，请用你自己的数据测量。
建议带走的点
- 先定下精确率和召回率的最低要求，排除达不到的模型。
- 比较模型之前，先用带标注的数据为每个模型调阈值。
- 把分数当作置信度之前先检查校准，并测量校准是否真的有帮助。