Decoding-Level Taboo: A Diagnostic Stress Test for LLM Robustness
解码级禁忌：LLM 鲁棒性诊断压力测试
🧭 LLM 鲁棒性 · 解码级压力测试
University of the Ryukyus · Technion · Information Processing and Telecommunications Center (IPTC), Universidad Politécnica de Madrid
在 logit 空间动态屏蔽词边界主候选 token，强迫模型迂回表达，揭示离路径鲁棒性受规模与指令对齐影响
📌 工作参考价值（4 点）
- 在电商文案生成、push 选词等场景，常需施加负面约束（如禁用竞品词、敏感词）。可用类似 logit 层动态 mask 的方式做上线前压力测试，提前暴露哪些约束会导致生成质量骤降或模型崩坏。
- 对于要求严格结构化输出（如 JSON schema、工具调用参数）的 Agent 或生成式推荐链路，可借鉴 Taboo 在解码时强制屏蔽违规 token，评估模型在受限条件下的规划与生成鲁棒性，避免线上因约束过强而失效。
- 结论提示：更大参数规模与指令后训练对齐显著改善离路径鲁棒性。选型或微调 LLM 用于推荐/Agent 时，可优先考虑对齐质量好的模型，并针对业务约束做专门指令微调。
- 将 Taboo 作为数据增强原语：通过屏蔽高频 token 迫使模型生成同义改写或替代表达，可批量构造多样化的 query 改写、商品描述、推荐理由等合成数据。