提示词注入

数据线索来自 AI HOT；事实核验以 Noma Labs、Ars Technica、zkSecurity、Anthropic、OpenAI 等原始来源为准。 一句话结论 AI 代理安全正在跨过一个分界线：过去大家担心的是“模型会不会回答危险问题”，现在真正危险的是模型在一个被污染的工作环境里，带着真实权限替人做事。 这会把安全边界从传统的账号、API key 和网络隔离，推向一个更难管理的新层面：上下文是否可信，工具调用是否可控，外部输入是否能变成指令，代理执行结果是否可审计。 最近几条新闻看似分散，其实都在讲同一件事：AI 代理越像员工，安全系统就越不能只把它当聊天框。 这不是“提示词越狱”的老问题 过去讨论 AI 安全时，主角通常是提示词越狱：用户诱导模型绕过规则，让它输出不该输出的内容。 但智能体不一样。它不是只输出文字，而是会读取仓库、搜索网页、调用工具、创建 issue、写文件、提交代码、访问内部系统。攻击者不一定要让模型“变坏”，只需要让它在正确权限下执行错误任务。 这就是 GitLost 最值得警惕的地方。 Noma Labs 披露的 GitLost 漏洞里，攻击者不需要拿到目标组织的凭据，也不需要入侵私有仓库。只要在同一组织下的公共仓库创建一个带恶意指令的 issue，就可能诱导 GitHub 的 AI 代理读取并泄露私有仓库内容。攻击的核心不是传统意义上的远程代码执行，而是把“公共 issue”伪装成代理应该遵循的工作上下文。 这说明 AI 代理的攻击面有一个新特点：输入不再只是数据，输入可能被模型误认为任务指令。 传统系统里，issue 内容通常只是数据库里的文本；到了智能体工作流里，它可能变成代理计划的一部分。安全边界因此从“谁能访问仓库”扩展到“哪些文本可以影响代理行为”。 上下文污染会成为 Agent 时代的 SQL 注入 SQL 注入的本质，是程序把用户输入当成了可执行语句。提示词注入的本质类似：代理把不可信输入当成了更高优先级的指令。 差别在于，SQL 注入通常发生在清晰的输入框、参数和数据库之间；AI 代理的上下文污染更隐蔽。恶意指令可以藏在 issue、网页、README、邮件、日志、文档、评论、依赖包说明、甚至模型自己生成的中间笔记里。 HalluSquatting 进一步放大了这个问题。Ars Technica 报道的研究指出，攻击者可以利用 AI 工具在资源标识符、依赖名、命令或包名上的幻觉，诱导代理访问攻击者控制的资源，并把多个流行 AI 工具串成更大规模的攻击链。这里的关键不只是“模型会编错名字”，而是代理会把编出来的名字拿去执行。 一旦代理有安装依赖、下载脚本、调用网络资源或运行命令的权限，幻觉就不再只是答案质量问题，而会变成供应链入口。 这也是为什么“让模型更聪明”不能单独解决安全问题。更聪明的模型仍然会面对不可信输入、过宽权限和复杂工具链。真正需要的是让系统默认假设：外部上下文可能有毒，模型输出也不能直接获得执行权。 AI 也在成为防御者，但它需要被审计 值得注意的是，最近的安全新闻并不全是坏消息。 zkSecurity 披露的案例显示，AI 审计代理 zkao 持续扫描 Cloudflare 的 CIRCL 密码学库，发现并确认了 7 个真实漏洞。其中包括阈值 RSA 中的 float64 精度问题，以及属性基加密访问控制失效等高风险问题。文章强调，AI 生成的候选发现仍需要人工验证，但代理已经能够自动完成大量验证工作。 ...