它是什么
物流场景下规则、Jev 与 LLM 的坦诚对比。
它做什么: 用三种方法分诊收货备注,报告准确率、延迟与成本。
为何进案例库: 说明 Jev 在哪里胜出、在哪里需要调 criteria 或加规则,以及真实成本差距。
注意: 数据集小;作者自测。
证据
公开 MIT 仓库(收录时 1 星),创建于 2026-10-17,是 Mohammed Ahmadi 一篇 Medium 文章的配套代码。README 测试集(100 条备注 × 3 次):类别准确率 规则 41.0% / Jev 100% / Haiku 100%;禁止上架 66.0% / 72.0%(criteria v2 为 85.0%)/ 98.0%;Jev p50 延迟 229 ms,Haiku 1,523 ms;每 10 万次决策成本 $2.26 对 $20.31。Jev 加一条主数据规则后禁止上架准确率达 97.0%。
注意
- 德语小数据集;请先读 README 的局限说明
- 不加额外规则时,禁止上架判断仍落后于 LLM
- 作者自报的基准
非官方案例页。热度用观察到的 stars / 列表位次;热度不是质量 SLA。依赖前请阅读上游 README。