路由 热度 1 · 静★ 0热度不完整(无 X)

jev-agent-router(工单路由三方对比)

在同一个类型化接口下对比三种客服消息路由:关键词、Claude Haiku 和 Jev。作者报告在 111 条难例上准确率 98% 对 99%,Jev 的中位延迟约快 5 倍。

它是什么

用三种方式把客服消息分到账单、缺陷、账户或销售(关键词基线、Claude Haiku 和 Jev),在同一份标注数据上比较,三者都返回同样的类型化 Route。

它做什么: 按分项(简单、无关键词、误导性关键词、多意图、简短、噪声、模糊)报告准确率,以及 p50 / p95 延迟。作者报告在 111 条非模糊消息上:关键词 42%,Jev 98%(中位 116 毫秒),Haiku 99%(中位 607 毫秒)。

为什么收进案例库: 工单路由的坦诚对比,明确写出它没有证明什么(成本、真实流量、并发)。

注意: 消息由作者编写并标注;数字为作者自报;未测量成本。

证据

公开的 MIT 许可 README,附方法说明、分项结果与混淆矩阵;120 条消息的数据集(其中 9 条模糊消息单独报告),2026-10-05 跑了 3 轮,通过 Pydantic AI 使用相同指令和相同的类型化 Route 输出。

注意

  • 消息和标签都由作者编写(只有一名标注者),不是真实工单流量;3 轮是同样 111 条消息的重复
  • 未测量成本;单台机器、顺序调用,延迟包含网络往返
  • 仓库尚未测试用 Jev 置信度把拿不准的消息升级给大模型

非官方案例页。热度用观察到的 stars / 列表位次;热度不是质量 SLA。依赖前请阅读上游 README。