QuizPilot 如何用 Jev 答题（90 题基准测试）

外链 QuizPilot 开发者的文章：单选、判断和多选题如何映射到 Jev，以及一个作者自编的小型基准测试（对比两个大语言模型），并用置信度挑出需要复查的答案。

这份指南指向哪里

QuizPilot 是一款开源 Chrome 扩展，会为网页上的练习题给出建议答案。它的开发者在文章（2026-10-06 发布，同时转载到 DEV 社区）中介绍扩展如何把题目发给 Jev：单选题变成一个 Choice 问题；判断题变成一个 Noul 问题；多选题的每个选项各对应一个 Noul 问题，概率达到 0.5 及以上的选项都会被勾选。填空题和图片题不发给 Jev。

在作者自己编写的 90 道题上（都不是真实考题），Jev 两次运行分别答对 85 和 86 题；作为对比，一个轻量大语言模型答对 89 题，一个推理型大语言模型全部答对；Jev 一次请求回答 60 道题只用了 0.17–0.44 秒。所有判断题和多选题都答对了，九次错误全部是需要多步计算的单选题。九次错误中有七次置信度低于 0.5，而答对时的平均置信度为 0.93。

请把它当作社区基准测试，而不是 TypeSafe 官方产品页。题目集规模小且由作者自编，作者是通过 OpenRouter 调用 Jev 1.13 的。

本页仅为非官方手册入口——SDK 名称、限制和价格请以官方现行文档为准。

建议带走的点

1. 按题型选择问题类型：单选用 Choice，判断用 Noul，多选题每个选项一个 Noul。
2. 用 Noul 概率与 0.5 的距离换算置信度；多选题取各选项中最低的置信度。
3. 低置信度的答案交给另一个模型复查：按作者的数据，复查置信度低于 0.6 的答案只涉及 8% 的题目。

原文

必须点开原文： How We Use Jev to Answer Quiz Questions（QuizPilot） · DEV 社区转载