它是什么
面向校准的决策模型评测,含 Jev。
它做什么: 生成带已知后验的备忘录,并用它们给模型概率打分。
为什么收进案例库: 少见的公开概率质量基准,并带明确的 TypeSafe Jev 运行路径。
注意: 合成世界;托管模型要付 API 费用。
证据
公开 MIT 仓库(收录时 3 星),含 uv 安装、pytest、任务世界(paper_review、covert_transfer、financial_default)、Hugging Face 数据集 ishidalab/probabilitybench、博客 https://ishida-lab.github.io/blog_probabilitybench.html,以及 arXiv https://arxiv.org/abs/2610.17016。README 默认模型含 TypeSafe Jev 1.13,并给出 examples/decision_models.py --models typesafe/jev-1.13。
注意
- 世界是合成机制,不是真实同行评审或信贷数据
- 对托管 Jev 跑评测需要自备 API 密钥与费用
- 收录时 3 星;结果取决于你配置的模型
非官方案例页。热度用观察到的 stars / 列表位次;热度不是质量 SLA。依赖前请阅读上游 README。