Platform 热度 1 · 静★ 0热度不完整(无 X)

JevVsLLM(Jev 与低成本大模型及决策模型的分类对比)

一个分类基准测试工具:在五个公开数据集各 2,000 条样本上,对比 TypeSafe Jev、低成本大模型和其他 OpenRouter 决策模型的准确率、费用和延迟。

它是什么

在分类任务上对比 Jev、大模型和同类决策模型。

它做什么: 把五个公开任务转成统一多选题格式,经 OpenRouter 跑 Jev 与基线,并发布准确率、费用、延迟表以及分数据集赢家。

为什么收进案例库: 对比清楚且允许负面结论:作者实验中 Jev 在大模型组总体领先并赢下 MMLU,而 Clef Flash 在专用决策模型组总体领先。

注意: 0 星;无许可证文件;公开数据集;经 OpenRouter。

证据

公开仓库,含测试工具、转换后的数据集和已发布结果表。在大模型对比(经 OpenRouter,5×2,000 = 130,000 次决策)中,Jev 准确率 89.0%、费用 $0.27、p50 延迟 288 毫秒,高于 DeepSeek Flash letter(88.0%、$0.55、395 毫秒)等低成本大模型,且无输出/接口失败。在同一设置的专用决策模型对比中,Clef Flash 以 92.0%($0.11、372 毫秒)领先,Jev 为 89.0%($0.27、272 毫秒)并在 MMLU 上以 93.1% 取胜。作者注明公开数据集可能存在训练污染,无效输出按错误计。

注意

  • 收录时 0 星;因有完整发布文稿和结果表而收录
  • 收录时仓库没有许可证文件
  • 使用公开基准数据集,无法排除训练污染
  • 全部调用经 OpenRouter;部分大模型臂受提供商限流影响

非官方案例页。热度用观察到的 stars / 列表位次;热度不是质量 SLA。依赖前请阅读上游 README。