智能体 ✦ 94大纲作者自报的指标——请在你的钩子上重新测量

工具调用 / 越狱护栏

每个危害一类 Noul;按危害设阈值 allow/ask/block。

适用人群:智能体运行框架作者。步骤:(1)状态 = 工具名称、参数摘要、用户话语、规则。(2)优先为每类风险使用一个 Noul(破坏性、数据外传、范围蔓延)——而不是一个含糊的“is this dangerous?”。(3)代码使用各风险的阈值,将概率映射为 → 允许/询问/阻止。预期效果:相比单个宽泛问题减少假阴性(firewall/pi-warden 作者报告了这一模式——引用时注明作者自报)。

1

复制提示词(保留英文原文效果最好)。

2

在代码里实现——调用 System One / Jev,由你的程序组合答案。

3

回答它的设置问题——大多数提示词会先采访你,然后进入固定节奏。

提示词

提示词
Audience: agent harness authors.
Steps:
1) Capture proposed tool + args summary + utterance + rules.
2) Parallel Nouls — one per hazard (destructiveness, exfil, scope_creep, injection_in_tool_result).
3) Code: per-hazard thresholds → allow / ask user / block.
Expected effect: stronger screening than one vague danger question (author-reported in community firewall studies).
Do not execute tools from inside the model.

需要授权:typesafe-sdkagent-runtime

它是怎么搭起来的

插入执行前门控。来源:llm_guardrails cookbook · typesafe-ai-firewall · pi-warden · pi-jev。 测量说法(配对运行/困难负例比率)均为作者自报。

优先为每类风险使用一个 Noul(数据外传、不可逆操作、越狱、……),并在代码中为各阈值设置表,而非只问一个含糊的“is this safe?”。多风险防火墙相比单项检查的改进为作者自报。

来源(第二轮补充)

为什么它好用

相对于所保护的工具调用,护栏成本低;概率优于长篇说明。

本案例收集自公开的 Jev 社区,版权归原作者所有。提示词属于参考资料:运行前请先审阅内容, 并且不要让机器人超出你实际授予的权限行事。