检索 热度 2 · 凉★ 0热度不完整(无 X)

Jev 中文 RAG 重排基准

可复现的 Jev 中文重排基准,使用含难负例的 C-MTEB/T2Reranking:锁定模型版本、设置费用上限、公开每次调用日志,并在 2026-10-19 对比 Jev 1.14 与 1.13。

它是什么

少见的、可复现的 Jev 中文检索数据。

它做什么: 衡量 Jev 在 BM25 之后作为重排器的效果,附日志和费用上限。

为何进案例库: 展示非英文任务从 1.13 到 1.14 的变化,免去重新调参的猜测。

注意: 样本小;每个方案只跑一次。

证据

公开 MIT 仓库,创建于 2026-10-12,2026-10-19 更新,带 Zenodo DOI(10.5281/zenodo.23322277)及 HuggingFace/ModelScope 镜像。README 报告:S1(n=100)中 Jev Score 的 nDCG@5 为 0.546,BM25 为 0.413;1.14 复测 nDCG@5 为 0.5464,1.13 为 0.5461(配对差 +0.0004,95% 置信区间 −0.037 至 +0.038),p50 延迟从 0.47 秒升到 0.66 秒;1,000 次调用花费 0.037 美元。

注意

  • 每个方案只在 100 个查询上跑了一次
  • 延迟变化只在一天、一个通道上测得
  • 独立社区项目;调用经由 OpenRouter

非官方案例页。热度用观察到的 stars / 列表位次;热度不是质量 SLA。依赖前请阅读上游 README。