它是什么
把 Jev 放进循环的严谨研究复现。
它做什么: 在零样本、上下文和 Gibbs 调度下用 Jev 判断 TruthfulQA 断言。
为何进案例库: 原始日志、对照组和每种方法的成本让结论可核验。
注意: 研究代码;单一模型版本。
证据
公开 MIT 仓库(收录时 0 星),创建于 2026-10-16,使用 jev-1.13.0。README 在论文 5 个划分上的结果:Jev 零样本准确率 0.913,每个种子 $0.005;不带结论的上下文(m=16)0.931;分块 Gibbs m=16 为 0.931,需 2,240 次调用。文中写明论文在 TruthfulQA 上的最佳结果为 0.835。附分析、切换记录、骑士与无赖、实体消解和亲属链脚本及原始结果。
注意
- 研究复现;数字为作者在单一模型版本上的报告
- 部分实验使用租用的 GPU pod
- 不是产品;复用前请读结论部分
非官方案例页。热度用观察到的 stars / 列表位次;热度不是质量 SLA。依赖前请阅读上游 README。