检索 热度 2 · 凉★ 0热度不完整(无 X)

Jev-Reranker(Jev 与 BGE 的 RAG 重排对比)

在 300 道 HotpotQA 多跳问题上对比 Jev 和 BGE 作为 RAG 重排器:每个方案使用相同的检索、生成模型和问题。

它是什么

一个小而坦诚的 Jev 重排基准。

它做什么: 在同一条 RAG 流程上对比不重排、BGE 和 Jev。

为何进案例库: 报告了成本、延迟和置信区间,而不只是一个结论。

注意: 只有一个数据集。

证据

公开 MIT 仓库,创建于 2026-10-21。Jev(通过 OpenRouter 调用 typesafe/jev-1.14)对每个段落问一个 Noul,按概率给前 30 名排序。两个必需来源都进入前 5 的比例:不重排 69%,BGE 86%,Jev 90%。答案质量分分别为 60、68、73。每题重排耗时:Jev 0.24 秒,BGE 在无显卡笔记本上 8 秒;Jev 每 1,000 题约 0.25 美元。

注意

  • 只有一个数据集,300 道题,只跑了一次
  • 作者说只有答案质量分领先 4 分在统计上站得住
  • BGE 在 CPU 上计时,换 GPU 会快很多

非官方案例页。热度用观察到的 stars / 列表位次;热度不是质量 SLA。依赖前请阅读上游 README。