它是什么
一个公平比较类型化分类接口与大模型的测试工具。
它做什么： 每个分类器都以自己原生的格式收到相同的问题。运行时使用固定种子打乱顺序，轮换先调用的分类器，在第一次调用前冻结测试协议，并用校验和封存结果。分析器报告标签吻合率、延迟百分位、错误和限流、花费、校准度、自洽性、配对置信区间，以及在基线置信度不足时升级的级联方案。
为什么收进案例库： 用证据判断快速决策模型能否在路由或分类步骤中替代一次大模型调用的可复用方法。
注意： 没有公布结果；标签不是来自独立的人类专家。
证据
公开的 MIT 许可仓库和 PyPI 包；附带一个固定语料，共 2,321 条、31 个任务（434 条为作者编写，其中盲审的第二位标注者同意 431 条，其余为公开数据集样本）；dry-run 模式不需要密钥；作者给出的跑完整套的大致费用：Jev $0.02，Haiku $2.30，Sonnet $4.65（按价格表估算）；级联报告展示了按置信度阈值从基线分类器升级到另一个分类器的效果。
注意
- README 没有公布对比结果；需要用户自己运行基准测试
- 作者编写的标签由 LLM 辅助的标注者核对，公开测试集可能已经出现在 LLM 的训练数据里
- 作者声明自己也在 Jev 上开发开源工具
非官方案例页。热度用观察到的 stars / 列表位次；热度不是质量 SLA。依赖前请阅读上游 README。