Platform 热度 1 · 静★ 3热度不完整(无 X)

ProbabilityBench(用真实条件概率评测 Jev 等决策模型)

MIT 许可基准:合成世界带精确类别概率,把 Jev 等决策模型给出的分数与真实后验对比(arXiv 2610.17016)。

它是什么

面向校准的决策模型评测,含 Jev。

它做什么: 生成带已知后验的备忘录,并用它们给模型概率打分。

为什么收进案例库: 少见的公开概率质量基准,并带明确的 TypeSafe Jev 运行路径。

注意: 合成世界;托管模型要付 API 费用。

证据

公开 MIT 仓库(收录时 3 星),含 uv 安装、pytest、任务世界(paper_review、covert_transfer、financial_default)、Hugging Face 数据集 ishidalab/probabilitybench、博客 https://ishida-lab.github.io/blog_probabilitybench.html,以及 arXiv https://arxiv.org/abs/2610.17016。README 默认模型含 TypeSafe Jev 1.13,并给出 examples/decision_models.py --models typesafe/jev-1.13。

注意

  • 世界是合成机制,不是真实同行评审或信贷数据
  • 对托管 Jev 跑评测需要自备 API 密钥与费用
  • 收录时 3 星;结果取决于你配置的模型

非官方案例页。热度用观察到的 stars / 列表位次;热度不是质量 SLA。依赖前请阅读上游 README。