配方 23 动手实践 8 分钟 更新 2026年10月14日
JevEval：在 DeepEval 里用 Jev 当评判
外链 DeepEval 博客与文档：由你定义 Noul、Score、Choice 问题；TypeSafe Jev 返回校准概率；DeepEval 用固定公式把答案合成可检查的指标分数，评判环中没有评估大模型。
这份指南指向哪里
Confident AI 的 DeepEval 框架发布了 JevEval：由你写解决策点，TypeSafe Jev 作答，DeepEval 用固定数学计算分数。产品博客 Introducing JevEval: Jev-as-a-Judge 与文档页 JevEval 是来源。
你选择 Jev 可以看见哪些测试用例字段，再挂上带权重的 Noul（是/否）、Score（有序等级）和 Choice（带分值的行为）。Jev 在一次 decide() 调用里返回概率分布。DeepEval 把每个分布映射为 0–1 的值再取加权平均。原因说明由这些答案在代码里拼出，因此指标里没有评估大模型，也没有 model 参数。
博客用 Tool Faithfulness 例子说明用法，并介绍 score_breakdown、确定性原因、strict_mode，以及多轮场景的 ConversationalJevEval。文档给出的安装路径：pip install -U deepeval typesafe-sdk，并设置 TYPESAFE_API_KEY。
本页仅为非官方手册入口——行为与价格以 DeepEval 和 TypeSafe 文档为准。
建议带走的点
- 把评估逻辑写成明确的有界问题，而不是一句开放的「请当评判」提示。
- 指标失败时看
score_breakdown：你在调试规格，而不是反推一个生成出来的数字。 - 对不允许用部分分数掩盖硬性失败的验收门，打开
strict_mode。