它是什么
放在本地大模型前面的决策层:TypeSafe Jev 决定每个请求去哪里,Python 执行策略,本地 Qwen 模型生成回答。
它做什么: 把请求分到本地 Qwen、项目文档检索或请求澄清;确定性的白名单直接回答配置类问题,不调用模型;浏览器聊天界面显示概率、策略决定、来源、耗时和成本。置信度策略可以弃权:在两个文档类问题上,它分别在 0.59 和 0.64 时弃权。
为什么收进案例库: 按处理方式分流的路由,弃权策略清晰可见,并公开原始结果,旁边还有本地模型基线。
注意: 合成测试集很小;数字为作者自报;实时模式需要你自己的 GPU 环境。
证据
公开的 MIT 许可 README,带 CI;Choice、Noul 和 Score 在一次调用中批量提问;作者在 24 条标注的合成问题上实测(2026 年 10 月 6 日):Jev 加策略 22/24,中位 387 毫秒;本地 Qwen JSON 分类 21/24;关键词规则 22/24。
注意
- 只有 24 条合成问题;README 说明不能据此证明校准可靠,也不能证明优于规则
- Qwen 生成 JSON 标签,而 Jev 返回概率分布,两者工作不同,延迟对比不是通用的速度结论
- 实时模式需要 TypeSafe 密钥和本地 Qwen 引擎(在 Apple Silicon 上通过 vllm-metal 运行);离线演示使用固定样例
非官方案例页。热度用观察到的 stars / 列表位次;热度不是质量 SLA。依赖前请阅读上游 README。