它是什么
把 Jev 的图片问答与一个大模型和一个商用审核 API 放在一起比较。
它做什么： 用每个模型给每张图片打分，报告 AUROC、F1、固定误报率下的召回、延迟和成本。
为何进案例库： 每个数字都能用公开的输出重新算出。
注意： 换成你自己的审核规则，结果会不同。
证据
公开 MIT 仓库，创建于 2026-10-21。阈值在训练集上选定，在 2,037 张图片的测试集上计分。Jev：AUROC 0.866，误报率 5% 时召回 50.7%，自身判定 F1 0.710，中位延迟 162 毫秒，每 1,000 张 7.7 美分。三个较新模型的 AUROC 在统计上持平（0.856 至 0.866）；Rekognition 为 0.698。
注意
- UnsafeBench 需签数据使用协议；仓库不含图片和标签
- 只有一个数据集和一个提示
- 延迟包含从一台工作站出发的网络时间
非官方案例页。热度用观察到的 stars / 列表位次；热度不是质量 SLA。依赖前请阅读上游 README。