One Polluted Page Is Enough: Evaluating Web Content Pollution in Generative Recommenders
一页污染足矣：生成式推荐中的网页内容污染评估
🧭 生成式推荐 · 网页内容污染 · 脆弱性评估
The Chinese University of Hong Kong
提出FORGE基准，揭示搜索增强LLM在检索到虚假内容后会将假品牌推荐给用户，单页污染即导致高达27%的误导率
📌 工作参考价值
- 检索增强推荐系统的风险警醒：应警惕来自开放 Web 的污染内容通过搜索进入推荐证据池，尤其在电商长尾品类（餐饮、本地服务等）风险更高。可借鉴 FORGE 的污染模拟方法，在内部构建针对性的安全评估流水线，量化自身推荐管线的脆弱性。
- 推理能力可能放大风险：论文发现显式推理（CoT）会使模型更易被污染证据说服，并编造「社区口碑」等虚假社会证明。在 Agent 或推荐系统中使用推理增强时，需引入额外的证据一致性校验，而非单纯依赖模型内在审查。
- 防御策略的取舍：直接使用「怀疑主义」提示可能在高抵抗力模型上反效果，而基于共识的过滤会牺牲大量合法推荐。更务实的防御应前移至检索阶段，如对来源可信度加权、证据来源多样化、要求跨文档 corroboration，这些可直接应用于电商搜索增强推荐中的网页内容筛选模块。
- 品牌知识锚定效应：模型对市场集中度高的品类（如手机、家电）抵抗较强，对碎片化品类脆弱，这提示我们可在推荐系统中利用已有品牌知识库进行先验过滤，或对低共识品类主动触发更高强度的内容核查。
动机 搜索增强的 LLM 正越来越多地充当面向消费者的推荐者，它们从互联网实时检索网页作为证据，再生成推荐。2026 年中国央视 3·15 晚会曝光了黑产通过生成式引擎优化（GEO）在主流 AI 助手内植入虚假品牌推荐的现象。这类攻击不同于传统训练数据投毒或提示注入：污染发生在开放 Web 上，被篡改的页面伪装成真实用户评价，难以检测，且最终输出仍是符合合规格式的推荐，缺少明显异常信号。为此，论文提出 FORGE 基准，系统量化这一风险。
方法要点
- 构建了包含 15 个品类、225 个真实产品的数据集，每个产品配有手工查询和 10 篇真实检索文档（经过质量筛选）。
- 通过局部重写文档中的真实品牌为虚构品牌（如“岚格手机”）来模拟网页内容污染，保持 URL、排名、文档风格不变；设计了三种攻击类型：实体替换（A1）、段落注入（A2）、全文合成（A3）。
- 定义「被愚弄率」（Fooled Rate）作为评估指标：模型回答中出现虚构品牌即记为一次成功污染，并验证该指标准确捕捉到模型对假品牌的正面推荐而非仅提及。
- 在 12 款商用和开源 LLM 上进行大规模评估，涵盖中英文多场景。
关键结果
- 所有模型均存在脆弱性：在文档前 3 名全部被替换时，被愚弄率从 13.3%（Gemini 3 Flash）到 73.8%（Ministral-3R）不等。
- 单页排名第一的污染文档即可使最脆弱模型有 27% 的误导率，而同样内容若放在靠后位置则几乎无效，表现出强烈的首位效应。
- 品类间差异巨大：餐饮、本地服务等社区导向品类脆弱性最高（均值 81.7%），智能手机、笔记本电脑等技术品类较低（均值 22.8%），部分原因在于模型对品牌的先验知识差异。
- 显式推理反而增加脆弱性：关闭推理后同一模型被愚弄率下降最多 18 个百分点；被愚弄的输出中社会证明标记（如“网友常推荐”“性价比之王”）比抵抗输出高出 1.5-11 倍，显示出模型在主动为假品牌编造理由。
- 怀疑主义提示防御对闭源模型普遍反效果（最高 +44pp），共识过滤虽能拦截 90%+ 假品牌但会牺牲 52-79% 的合法推荐。