配方 28 动手实践 7 分钟 更新 2026年10月20日

在 LLM 前面加一道 Jev 门(Stas Slutsker)

外链 Stas Slutsker 在 DEV 上的文章(2026-10-20):用一次 Jev 调用(一个 choice 问题加一个 noul 问题)决定希伯来语股票点评 RAG 助手是否执行昂贵的生成步骤,并用 134 个希伯来语和英语问题测试。

这份指南指向哪里

Stas Slutsker 在 DEV 上发布了 Put a bouncer in front of your LLM: a Jev gate for your pet AI project(2026-10-20)。他的业余项目 telavivstocks.com 用普通 RAG 流程(Gemini 向量、pgvector、Gemini Flash)根据一位价值投资者的股票点评回答问题。他在生成步骤前加了一次 Jev 调用:一个 choice 问题判断意图(stock_research、site_help、navigate、off_topic),一个 noul 问题判断提示注入。

这次调用与向量化同时启动,超时 1.5 秒,出任何错误都直接放行。只有概率和 Jev 的置信度都过线才拒答;问题里提到已点评的股票时,一个简单的股票名匹配器会阻止「离题」拒答。按上线时的阈值,在 134 个测试问题上,他报告:离题拒答精确率 希伯来语 97.1%、英语 100%;离题召回率 91.7% 和 97.1%;注入拒答精确率两种语言都是 100%;p50 延迟 577 ms 和 610 ms。这道门先以影子模式上线。

本页仅为非官方手册入口——主张请对照原文与 TypeSafe 现行文档 核验。该网站是股票点评看板;本页内容不构成投资建议。

建议带走的点

  1. 认真写选项说明;说明里少几个词就会导致错误拒答。
  2. 最终决定交给普通代码,不要让门控去选目标页面。
  3. 先用影子模式上线,用用户的语言测试,出错时直接放行。

原文