它是什么
一个零依赖的小型评估工具,回答每个 Jev 工作流都绕不开的问题:置信度到多少时可以放心自动执行?
它做什么: 把每条标注数据发给 Jev 一次并缓存答案,然后按问题以及整行门控报告准确率、期望校准误差、可靠性表和风险覆盖表。thresholds 会针对目标准确率推荐阈值,并做袋外检验;compare 对比两次运行(模型版本漂移,或两种问题措辞)。
为什么收进案例库: 它把置信度门控从拍脑袋变成可测量的数字,而且在缓存上重新切分分析不花钱。
注意: 结果好坏取决于你的标注;仓库没有附带公开的基准测试。
证据
公开的 MIT 许可 README;仅依赖 Python 3.10+ 标准库;只有 `run` 命令会调用 Jev(每条标注数据一次批量调用,结果缓存为可续跑的 JSONL);`report`、`thresholds`、`compare` 和 `calibrate` 都在本地缓存上离线运行;支持 Choice、Noul 和 Score 三类问题,并输出 `thresholds.json`。
注意
- 需要你自己的标注数据;阈值好不好取决于这些数据是否有代表性
- README 里的示例输出只是演示;仓库没有附带公开的基准测试结果
- 收录时是新仓库(0 星);只有 `run` 命令会消耗 API 额度
非官方案例页。热度用观察到的 stars / 列表位次;热度不是质量 SLA。依赖前请阅读上游 README。