它是什么
在分类任务上对比 Jev、大模型和同类决策模型。
它做什么: 把五个公开任务转成统一多选题格式,经 OpenRouter 跑 Jev 与基线,并发布准确率、费用、延迟表以及分数据集赢家。
为什么收进案例库: 对比清楚且允许负面结论:作者实验中 Jev 在大模型组总体领先并赢下 MMLU,而 Clef Flash 在专用决策模型组总体领先。
注意: 0 星;无许可证文件;公开数据集;经 OpenRouter。
证据
公开仓库,含测试工具、转换后的数据集和已发布结果表。在大模型对比(经 OpenRouter,5×2,000 = 130,000 次决策)中,Jev 准确率 89.0%、费用 $0.27、p50 延迟 288 毫秒,高于 DeepSeek Flash letter(88.0%、$0.55、395 毫秒)等低成本大模型,且无输出/接口失败。在同一设置的专用决策模型对比中,Clef Flash 以 92.0%($0.11、372 毫秒)领先,Jev 为 89.0%($0.27、272 毫秒)并在 MMLU 上以 93.1% 取胜。作者注明公开数据集可能存在训练污染,无效输出按错误计。
注意
- 收录时 0 星;因有完整发布文稿和结果表而收录
- 收录时仓库没有许可证文件
- 使用公开基准数据集,无法排除训练污染
- 全部调用经 OpenRouter;部分大模型臂受提供商限流影响
非官方案例页。热度用观察到的 stars / 列表位次;热度不是质量 SLA。依赖前请阅读上游 README。