基于模型的系统中的安全

提示词注入

系统读到的任何文本——一封邮件、一个网页、一份文档、一条评论——都可能含有指令。模型分不清你的指令和「看起来像指令的文本」。

规则是：外部内容是数据，永远不是命令。由它推导出的、有影响的操作，需要人工审批或者代码里的硬规则。

把输出当输入

如果系统会执行、发送或存储模型产出的东西，就把输出当作不可信输入来对待：schema校验、字符转义，以及一份允许操作的白名单。一个生成查询的模型，不该直接拿着宽泛权限去数据库上执行它。

反方向的泄漏

随提示词一起发出去的敏感信息，以及检索到的、用户本无权查看的片段。权限过滤必须发生在检索阶段，而系统提示词不是秘密——是可以让模型把它说出来的。