提示词注入
也叫:Prompt Injection · 间接提示词注入 · 提示注入
提示词注入是输入内容用意外指令影响模型,恶意要求也可能藏在网页、邮件、文件或图片里。
他们说
防范直接和间接 Prompt Injection 改变模型行为
老白翻译
外部文件里藏一句命令,AI 可能把它当真。
它到底是什么
用户直接输入恶意指令属于直接注入。模型读取网页、邮件、文件或图片时,从这些材料里碰到恶意指令,属于间接注入。
生活里的例子
邮件助手本来只需总结正文。发件人若在隐藏文字里要求它读取通讯录并发送内容,模型就可能偏离原任务。
常见误解
- 误解:系统提示词写得严就能完全挡住。 外部检测、最小权限和人工确认仍然需要。
- 误解:接了 RAG 就安全了。 被检索到的知识库文件也可能带有注入内容。
- 误解:人看不见就没有风险。 隐藏文字和图片里的内容也可能被模型解析。
普通人怎么用
把外部内容当作不可信资料,限制工具权限。发送、删除、付款和改权限等动作要单独确认,并用测试材料定期做攻击演练。