KuaFu：十亿规模长用户行为压缩与理解的统一层
🧭 用户行为压缩 · LLM 理解 ★ 深度解读
Tencent Inc., Shenzhen, China
以单行为 item 为最小压缩单元，双轴投影将每条行为压到 2–4 token，四阶段训练抑制幻觉，部署后 GMV 提升 1.37%
📌 工作参考价值（4 点）
- 可迁移点 1：采用 item 级压缩而非 sequence 级压缩，使 embedding 只依赖 item 本身，可离线缓存、跨用户/任务复用；缓存随 item inventory 增长而非 #users×#tasks，极大降低每周十亿用户画像刷新成本。在电商/广告中，商品、内容、广告素材均可预先压缩存储，在线只拼接。
- 可迁移点 2：双轴投影（token 轴 8→2，width 轴 2560→128，约10×/20×压缩）配合残差与 Down/Up 低秩投影，能把单 item 缓存从10KB降到0.5KB；适合长行为序列 KV cache 或 prompt 侧压缩，注意压缩宽度对细节丢失的影响，需按 task 选择 ratio。
- 可迁移点 3：四阶段课程训练：重建→压缩 QA→压缩+生成协同→幻觉感知 RL。尤其基于长度的五桶课程（1,1–3,1–200,1–500,1–1200）是收敛必要条件；直接混合长度 loss 卡在2.27。可借鉴到长序列 LLM 训练。
- 可迁移点 4：对生成式用户画像/推荐文案，用分组 DAPO RL 加按危害加权的四类幻觉惩罚（fabrication 0.45、date misattribution 0.24、logic 0.24、missed detection 0.07）并单独给 completeness bonus，可显著降低 fabrication（33.5→4.5）且不诱发拒答；业务上可用较强 judge 做分层中间评测，缩短反馈闭环。
LVLM词汇劫持：排除惰性token揭示关键注意力头以缓解幻觉
🧭 多模态大模型幻觉缓解
Harbin Institute of Technology (Shenzhen) · Huawei Technologies Co., Ltd. · The Hong Kong Polytechnic University · Nanyang Technological University
发现视觉token的词汇劫持现象，提出无训练注意力增强HAVAE，显著减轻LVLM幻觉
📌 工作参考价值（4 点）
- 电商多模态问答/商品描述生成场景，可借鉴 HAVAE 的无训练注意力干预方法，通过加权少数关键注意力头抑制幻觉，不增加推理延迟。
- 使用 logit lens 诊断模型注意力异常（如某个视觉 token 总是映射到相同的错误词）的思路可迁移到 LLM Agent 的行为审计，排查错误的感知模式。
- NHAR 指标提供了一种快速量化注意力头可靠性的方法，可用于 Agent 感知模块的 head pruning 或动态路由，在有限算力下保留最关键的视觉注意力单元。
- 论文强调的“Inert Token”分析提醒我们在多模态对齐时，图像中某些固定模式（如空白、边框）可能劫持注意力，这些 token 可在预处理阶段过滤或权重衰减。