AI更新
RAG 文档投毒实战:3 分钟让 AI 编造虚假财报数据
安全研究员用 3 个伪造文档注入 ChromaDB 知识库,让 RAG 系统将 2470 万美元的真实营收篡改为 830 万美元。全过程仅 3 分钟,无需 GPU,本地即可复现。
RAG 文档投毒实战:3 分钟让 AI 编造虚假财报数据
AI更新
攻击演示
安全研究员 Amine Raji 发布了一项令人警醒的 RAG 安全实验:在 MacBook Pro 上,不需要 GPU 和云服务,仅用 3 分钟就成功污染了一个 RAG 系统的知识库。
攻击过程极其简单:
- 向 ChromaDB 知识库注入 3 个精心构造的虚假文档
- RAG 系统随后自信地报告公司 Q4 营收为 830 万美元(下跌 47%)
- 实际知识库中的真实数据是 2470 万美元营收、650 万美元利润
没有修改用户查询,没有利用软件漏洞,只是往知识库里加了几个文档。
技术原理
该攻击基于 USENIX Security 2025 发表的 PoisonedRAG 论文。攻击成功需要同时满足两个条件:注入文档必须在向量空间中与目标查询足够接近,且内容必须足以覆盖原始事实。
为什么出海团队要关注
如果你的产品使用了 RAG 架构(知识库问答、客服机器人、文档助手等),这是一个必须重视的安全风险。尤其是当知识库接受外部数据源输入时,文档投毒可能导致 AI 输出完全错误的信息。
建议措施:对知识库数据源做严格的来源验证和权限控制,定期审计向量数据库中的文档内容。