路由 热度 1 · 静★ 0热度不完整(无 X)

Jev Inference Router(本地 GPU 推理路由)

面向本地 GPU 推理的可观测决策层:Jev 选择处理方式(本地 Qwen、文档检索或请求澄清),Python 执行策略,本地 Qwen 生成回答。

它是什么

放在本地大模型前面的决策层:TypeSafe Jev 决定每个请求去哪里,Python 执行策略,本地 Qwen 模型生成回答。

它做什么: 把请求分到本地 Qwen、项目文档检索或请求澄清;确定性的白名单直接回答配置类问题,不调用模型;浏览器聊天界面显示概率、策略决定、来源、耗时和成本。置信度策略可以弃权:在两个文档类问题上,它分别在 0.59 和 0.64 时弃权。

为什么收进案例库: 按处理方式分流的路由,弃权策略清晰可见,并公开原始结果,旁边还有本地模型基线。

注意: 合成测试集很小;数字为作者自报;实时模式需要你自己的 GPU 环境。

证据

公开的 MIT 许可 README,带 CI;Choice、Noul 和 Score 在一次调用中批量提问;作者在 24 条标注的合成问题上实测(2026 年 10 月 6 日):Jev 加策略 22/24,中位 387 毫秒;本地 Qwen JSON 分类 21/24;关键词规则 22/24。

注意

  • 只有 24 条合成问题;README 说明不能据此证明校准可靠,也不能证明优于规则
  • Qwen 生成 JSON 标签,而 Jev 返回概率分布,两者工作不同,延迟对比不是通用的速度结论
  • 实时模式需要 TypeSafe 密钥和本地 Qwen 引擎(在 Apple Silicon 上通过 vllm-metal 运行);离线演示使用固定样例

非官方案例页。热度用观察到的 stars / 列表位次;热度不是质量 SLA。依赖前请阅读上游 README。