它是什么
用三种方式把客服消息分到账单、缺陷、账户或销售(关键词基线、Claude Haiku 和 Jev),在同一份标注数据上比较,三者都返回同样的类型化 Route。
它做什么: 按分项(简单、无关键词、误导性关键词、多意图、简短、噪声、模糊)报告准确率,以及 p50 / p95 延迟。作者报告在 111 条非模糊消息上:关键词 42%,Jev 98%(中位 116 毫秒),Haiku 99%(中位 607 毫秒)。
为什么收进案例库: 工单路由的坦诚对比,明确写出它没有证明什么(成本、真实流量、并发)。
注意: 消息由作者编写并标注;数字为作者自报;未测量成本。
证据
公开的 MIT 许可 README,附方法说明、分项结果与混淆矩阵;120 条消息的数据集(其中 9 条模糊消息单独报告),2026-10-05 跑了 3 轮,通过 Pydantic AI 使用相同指令和相同的类型化 Route 输出。
注意
- 消息和标签都由作者编写(只有一名标注者),不是真实工单流量;3 轮是同样 111 条消息的重复
- 未测量成本;单台机器、顺序调用,延迟包含网络往返
- 仓库尚未测试用 Jev 置信度把拿不准的消息升级给大模型
非官方案例页。热度用观察到的 stars / 列表位次;热度不是质量 SLA。依赖前请阅读上游 README。