Platform 热度 2 · 凉★ 6热度不完整(无 X)

jev-docs-benchmarks(多厂商决策模型规则遵守与费用对比基准)

一个独立研究仓库:在规则遵守、概率表现和费用上对比 TypeSafe Jev 与 Microsoft Decision、OpenAI Decisions、Clef、Laya 等决策模型,并提供英语和巴西葡萄牙语测试集。

它是什么

多厂商决策模型基准文档。

它做什么: 发布可复现的测试集和分析,对比决策模型如何执行给定规则、概率如何表现,以及托管与本地配置下的决策费用。

为什么收进案例库: 少数公开的多批次对比之一,把 TypeSafe Jev 与 Microsoft、OpenAI Decisions 和开源/本地方案放在一起,并写明方法局限。

注意: 无许可证文件;作者自行运行;部分本地费用未测。

证据

公开仓库,附有文档化的测试协议和已发布的报告表。最新的 Decision 3.0 旗舰/Edge 对比报告:旗舰在紧凑集上 167/168(99.4%),在全部 v2 条件下 501/504;Edge 紧凑集 102/168(60.7%),总体 287/504。更早批次覆盖托管与本地部署、Perplexity 27B,以及英语/巴西葡萄牙语成对扩展。README 声明这不是官方厂商基准,也不证明某一模型在所有场景都最好。

注意

  • 收录时仓库没有许可证文件
  • 研究由作者自行运行,不是独立第三方实验室评测
  • 部分本地部署的运行费用未测;托管费用对比仅对应当次报告

非官方案例页。热度用观察到的 stars / 列表位次;热度不是质量 SLA。依赖前请阅读上游 README。