REVA：可复用证据视图聚合实现上下文高效 RAG 服务
🧭 RAG 上下文压缩 · 注意力挖掘与复用 ★ 深度解读
VinUni-Illinois Smart Health Center, VinUniversity, Vietnam · University of Illinois Urbana-Champaign, USA
挖掘历史查询-文档注意力聚合为可复用证据视图，以极低在线开销实现高质量 RAG 上下文压缩
📌 工作参考价值（4 点）
- 电商搜索/推荐 RAG 场景中商品、评论、内容文档重复检索率高，可离线挖掘目标 LLM 对文档的注意力，构建文档级 evidence score store，线上只做轻量视图渲染，将压缩延迟从百 ms 级降到几十 ms。
- 借鉴 word-unit 聚合：不直接存储 token 级分数，而是合并为可读词单元（保护价格、型号、日期等短结构化片段），避免输出碎片化，便于审计与 Debug。
- 采用 budget-agnostic 的 score store：同一份文档分数支持不同 prompt 预算；local 等额配额是默认安全策略，global 按历史效用重分配适合证据分布不均的多跳/对比类场景。
- 注意兼容性 key（generator/tokenizer/template/corpus version），避免跨模型或语料版本错误复用分数；可用异步更新和指数衰减应对 query 分布漂移。
识别并非逆转：事实保持新闻框架的受控逆转测试
🧭 LLM评估 · 框架逆转与事实保持
University of Science and Technology of China
通过540个受控新闻变体证明LLM即使识别出framing也几乎无法在保持事实下撤销干预
📌 工作参考价值（4 点）
- 在电商文案、广告合规或评论中立化等LLM改写任务中，不要因为模型能识别出倾向/框架就假设它能可靠逆转；事实一致性需要独立约束与评估，可借鉴论文的原子事实配对与编辑记录方式构建评测集。
- 对高风险文本（如商品描述、客服话术）建立“识别-逆转-事实保持”三分离评估，避免只测中立性分数或检测准确率；重点验证改写后关键事实是否仍然保留。
- 若业务需要自动“去bias”或“去情绪”改写，建议采用受控变换生成配对样本而非仅依赖众包，能更干净地量化模型是否真正进行了逆转而非表面换词。
- 本论文领域为新闻framing，业务直接可迁移点有限，但评估设计可借用于生成式推荐文案、消息推送词等场景的事实一致性验证。
数据稀缺与模型稀疏：MoE 对重复数据更易过拟合
🧭 LLM 训练 · 数据重复 · MoE 正则 ★ 深度解读
Stanford University · Paul G. Allen School of Computer Science, University of Washington
在重复数据训练下，MoE 比同 active 参数的 dense 模型退化更早更快，且退化程度由 total 参数决定
📌 工作参考价值（4 点）
- 搜索/推荐/广告等业务里若用 MoE 或稀疏 LLM 做召回、排序、query 生成，数据重复是常见场景（行为序列、曝光样本、promo 物料反复出现）。不要只看 active 参数，要把 total 参数计入训练预算；重复率控制在 4× 以内对 MoE 相对安全，超过 8× 需要警惕。
- 当业务数据受限必须多 epoch 训练时，优先在 MoE 的输出侧做 masking：FFN output masking、expert dropout 或 expert output masking，比 router jitter、weight decay 更有效。生成式推荐/query 生成模型可以在 expert 输出上加 token-level 或 expert-level dropout，缓解重复样本导致的过拟合。
- 多域数据混合训练时，如果某个域 unique 数据不足，不要无限重复该域；把它与语义相似的未重复域混合可能起到正则化作用，而语义差异大的域（如 code 与 web）混合无此效果。对电商多源数据（商品、内容、广告、搜索词）做配比时值得验证。
- 路由早稳定是一个可工程化的监控信号：若 MoE 在训练早期 router 决策就接近冻结，并且 train loss 快速降到很低，通常意味着 expert 在过拟合固定 token 子集。可定期做 expert knockout 分析，量化专家冗余与过度 specialization，作为是否继续训练或切换架构的依据。
SIRF：面向工业内容风控的政策内化风险基础模型
🧭 内容风控 · 政策内化基础模型
Xiaohongshu Inc. · Tianjin University
通过约70M token小规模CPT将复杂政策内化到8B模型，在verdict-only低延迟下将Black Recall@P95提升15.1pp
📌 工作参考价值（4 点）
- 政策/规则内化到模型权重而非仅用RAG或prompt，适合高精度+秒级延迟场景：电商/广告审核、平台治理可参考EntiGraph+MAGA rewriting+账号级CoT自动合成领域规则语料，对底座做几十M tokens小规模CPT再SFT，在verdict-only输出下获得提升，避免检索延迟。
- 同源对照实验值得借鉴：控制变量隔离CPT贡献，只让policy-grounded CPT一个因素变化，避免把能力提升误归于SFT或提示词，适合业务团队做严格归因。
- verdict-only+logprob可落地为树模型裁决层：模型输出logprob作为置信度，高精度自动处置，边界样本交给树模型校准，可恢复误伤样本；电商处罚/营销触达等高风险场景可复用该部署结构。
- 规则频繁变更时，用低成本合成语料+小规模CPT迁移到新场景，能大幅降低误伤率；对电商季节性/区域合规策略更新有直接迁移价值。
SpecGuard：零额外计算成本推理时后门检测
🧭 LLM 后门检测 · 投机解码
Institute of Science Tokyo · Microsoft Security Response Center · Microsoft Azure · Shandong University
利用投机解码中的草稿token接受率变化，实现零额外计算成本的LLM推理时后门检测
📌 工作参考价值（4 点）
- 若线上 LLM 推理服务（如生成式推荐文案、Agent 工具调用）已启用投机解码，可几乎零成本监控“草稿 token 接受率”异常波动，作为模型行为突变或后门触发的预警信号，无需额外模型前向。
- “干净小模型作参照”的思路可迁移到推荐模型监控：用训练冻结的干净基线模型对比线上微调模型的输出分布，捕捉因数据投毒或环境漂移导致的异常行为，尤其是对用户输入中的罕见/语义触发模式。
- 工程实现上，接受率是一个标量，计算开销极低，适合部署在 gateway 或 serving 层；但接受率受输入难度影响，应结合分位数或滑动窗口做自适应阈值，避免正常长尾输入引发误报。
- 业务可借鉴点有限：后门检测主要服务于 AI 供应链安全，电商推荐团队若无第三方模型微调部署场景，直接迁移价值不大。
StepAudio 3 Gen 技术报告
🧭 通用音频生成 · 离散自回归
StepFun-Audio Team
离散自回归统一音频生成模型，基于 RVQ token 和共享码本，在 TTS 与语音设计上达到 SOTA
📌 工作参考价值（4 点）
- 离散 RVQ 表示将音频压缩为 16×2048 码本、12.5 Hz 帧率，类似 Semantic ID 思路，可借鉴用于多模态商品表示或用户行为序列的离散化，降低序列长度、统一语义和声学信息。
- RVQ Adaptor 作为 LLM 与多码本之间的适配层，把 16 个残差码本映射进 LLM 隐藏维度，适合在已有文本 LLM 上接入新的离散模态（如商品图像、音频评论）时参考。
- 干扰感知的渐进式预训练：先冻结 LLM 只训练 Adaptor，再逐步解冻，能保留原有文本能力，对在推荐/搜索 LLM 上增量添加生成式任务有直接借鉴价值。
- 采用“时间轴自回归 + 码本轴并行生成”的两阶段解码，相比全自回归大幅降低推理步数，可迁移到生成式推荐中处理多层语义 ID 的生成。
StepAudio 3 Music 音乐生成技术报告
🧭 音乐生成 · ABC-CoT 显式规划
StepFun · ACE · The Chinese University of Hong Kong · University of California San Diego
支持 ABC-CoT 显式音乐规划与离散-连续表示的 5 分 30 秒级音乐生成模型
📌 工作参考价值（4 点）
- 显式中间规划再做最终生成：在推荐理由、push 文案、对话式导购等场景中，可以先产出结构化计划（如类目、卖点、风格、约束）作为部分上下文，再生成最终文案，提升可控性和结构一致性。
- 离散 token + 连续 latent 混合生成路径：生成式召回或内容生成中，可用 Semantic ID 作为离散 token，配合 diffusion 生成连续隐变量，兼顾语义可控与高保真重建。
- 低帧率大码本 single codebook：50Hz、65536 码本降低序列长度和解码成本；在 item/query 表示 tokenization 时可借鉴“低频帧 + 大码本 + 语义辅助多任务训练”。
- 用 DPO 直接优化业务偏好指标：AudioBox 的 enjoyment、usefulness、production quality 均在 DPO 后提升，说明推荐文案、搜索 query 生成等任务可以在 SFT 后用真实业务偏好做偏好优化。
SWRouter：面向多轮大语言模型对话的相似度收缩窗口路由
🧭 多轮LLM路由与上下文构建
Shanghai Jiao Tong University · Baidu Inc. · Wilfrid Laurier University · The Hang Seng University of Hong Kong · York University
提出相似度收缩窗口的上下文分段与双指标评估，多轮路由准确率较最佳单模型提升16.26%
📌 工作参考价值（4 点）
- 多轮对话/客服Agent中的模型路由不能简单沿用单轮特征；需要显式设计历史上下文的切割与保留。文中相似度收缩窗口的思路可直接用于对话状态上下文管理：按语义相似度而非固定轮数滑动窗口，降低历史信息混淆与冗余。
- 评估路由策略时，建议将上下文构建质量与路由决策解耦，采用双指标评测；否则上下文构建差会掩盖路由器的真实能力，这在线上A/B测试中容易误判。
- 对电商导购/搜索多轮Agent，可在多模型池（大模型、小模型、领域模型）上实现基于上下文分段的路由，降低长会话长尾token成本和延迟，同时保持回复质量。
- 工程实现上，相似度分割可以通过现成embedding+阈值/聚类实现，轻量，适合在线服务；无须训练路由器，可先行试点。
TimelyRAG：面向重叠演化文档的时间敏感混合检索框架
🧭 RAG 时间敏感检索
KAIST · Korea University · University of Vermont
提出 retriever-agnostic 的 TimelyRAG，用时间距离重排解决修订版本文档的时态问答，并发布 TimelyQABench
📌 工作参考价值（4 点）
- 电商/政策类文档常存在修订而非完全替换，如促销规则、商品参数、平台协议；可直接在现有向量检索后加一层 retriever-agnostic 的时间距离重排，无需重训 retriever。
- 将文档生效时间/版本区间与 query 的时间参考（显式或隐式）作为特征，设计 hybrid score = semantic similarity + λ·temporal distance，λ 可按业务数据调优。
- 构建评估集时，不要只用静态 QA 对；应加入同一政策/商品的多个修订版本，并标注 query 的时间锚点，避免语义重叠导致旧版本被误召回。
- 对 Agent 使用 RAG 的场景，建议在检索输入中显式加入当前业务时间或用户询问的时间上下文，防止动态信息（价格、库存、政策）过期。
统一 per-token 门控族：FKL/RKL 混合的多通道与偏置参数化
🧭 LLM 知识蒸馏损失门控统一参数化
Xiaohongshu Inc. · Tianjin University
把 on-policy 蒸馏中的 per-token FKL/RKL 门控统一为四系数参数化，EOPD/ToDi 成为其一维特例
📌 工作参考价值（4 点）
- 做 LLM 蒸馏时，可把 FKL/RKL 混合权重从固定标量升级为 per-token 门控 λ_t=σ(a·h_t+b·u(x)+c+d·gap_t)，用 teacher 熵 h_t、学生/教师 gap_t 等已能计算的信号作为特征，几乎不额外增加工程成本。
- 可将 EOPD、ToDi 这类已有门控方法放进统一坐标里做 sweep；至少先跑 entropy-only、gap-only、bias-only 三条 1D 线，再叠加多通道和偏置，比盲调 FKL/RKL 权重更有方向。
- 显式 bias c 值得单独保留：它等价于一个可学习的全局混合偏好，部署到不同业务语料（商品文案/搜索改写/push 文案）时可以作为任务先验快速调节。
- 该文在短输出分类任务上方向性收益多，但 n=3 不显著；迁移到电商/推荐文本生成时，建议用多 seed paired replication 评估真实线上收益，别被单 seed 的 33/36 这类计数误导。
Transformer 中的距离泛化：何必费心使用位置编码？
🧭 Transformer 距离泛化 · 位置编码消融
Institute for Theoretical Physics, Goethe University Frankfurt, Germany
系统考察 RoPE/ALiBi/NoPE 在合成延迟复制任务上的距离泛化，发现位置编码效果有限且数据多样性影响关键。
📌 工作参考价值（3 点）
- 在推荐/搜索序列建模中，如果序列长度固定且 token 间距离范围有限，NoPE 可能足够，可移除位置编码以降低模型复杂度和训练成本。
- 训练数据中覆盖的 token 间距离多样性对距离泛化至关重要：构建行为序列样本时，应刻意采样不同间隔的交互对，避免模型只见过短距离依赖。
- 距离迁移学习可能为负，说明模型在特定距离上过拟合；上线前需评估用户行为序列分布与训练分布的偏移，尤其是时间间隔分布变化。
UniRec：级联推荐中跨阶段多任务融合与偏好对齐
🧭 级联推荐 · 跨阶段偏好对齐与多任务融合 ★ 深度解读
Kuaishou Technology
提出 UniRec 联合优化粗排与精排融合模块，通过共享嵌入、跨阶段偏好对齐和属性组正则提升一致性与线上指标
📌 工作参考价值（4 点）
- 跨阶段融合模块联合优化：粗排和精排的融合公式常被独立设计或学习，可将两个融合 agent 共享输入嵌入并在同一计算图训练，用下游 pairwise 偏好序对齐上游分数，避免复杂蒸馏；共享嵌入让梯度双向流动，实现对称耦合。
- 紧凑多目标 pairwise 聚合（CPPA）：当目标数 M 很大时，将每个 pair 的多个目标按符号聚合成正/负偏好证据，再计算 Softplus 损失，数学等价但可微项从 O(MN^2) 降到 O(N^2)，训练吞吐提升 30%+；电商多目标精排融合可直接采用。
- 属性组相对正则（AGRR）：借鉴 GRPO，按属性分桶（如价格带、时长分位）内计算 advantage 并做 KL，防止融合模型整体抬高高分属性组导致分布漂移；保留跨属性排序能力，适合短视频时长、商品价格等偏差场景。
- adapter 注入上游决策时使用 stop-gradient：下游融合模型需要感知上游决策时，将上游表示 detach 后拼接，避免下游目标反向重塑上游表示；跨阶段梯度耦合留给共享嵌入，保持各阶段局部目标稳定。
VikingRAG：结构化文档的高精度低 token 检索增强生成
🧭 结构化文档 RAG · 目录感知存储与经验复用 ★ 深度解读
Renmin University of China · Independent Researcher · Fudan University
目录感知语义存储结合经验边与自适应升级，使结构化文档 RAG 精度持平 SOTA 而 token 降至 5.1%-32.5%
📌 工作参考价值（4 点）
- 将商品/政策/售后文档按目录树 URI 化，构建多粒度摘要（chunk 与 section abstract）的向量索引；语义召回结果带回 URI 路径，后续检索/读取限定在该子树，避免每次把完整目录序列化进 prompt，显著降 token。
- 用 Search/List/Grep/Read 四种工具切分检索动作：先语义粗定位到商品/政策条目，再按 URI scope 做关键词精确匹配，最后只读需要的内容验证证据；适合售后规则问答、广告审核政策、商品属性答疑等易漏召回场景。
- 把多轮 agent 检索成功的轨迹物化为 query-conditioned experience edges，相似 query 直接走边扩展召回，避免重复探索；可借鉴为在线服务中的“会话检索缓存/知识捷径层”，随真实 query 增量更新，降低重复路径 token 与延迟。
- 自适应 escalation：先用一轮 experience-augmented retrieval 生成候选答案，并要求 LLM 先列关键约束再判定证据是否充分，不充分才升级多轮 agent。工程上能把大多数 easy query 留在低成本路径，hard query 才触发高成本 agent。
为什么训练后量化有效？
🧭 LLM 量化鲁棒性机制 ★ 深度解读
Tsinghua University · Bosch AI Research
发现预训练模型量化鲁棒性源于层间误差抵消与 LM-head 几何对高排名 token 的优先保留，解释 PTQ 为何有效。
📌 工作参考价值（4 点）
- 在电商搜索/推荐中部署 LLM 做 query 理解、候选生成或 Agent 决策时，4-bit weight-only 量化（如 NVFP4 RTN）能基本保持 top-k 预测稳定（Ret@10/20≈85%），可直接采用低精度推理节省成本，不必担心高排名候选被破坏。
- 量化误差在层间存在“抵消”效应，说明常规 PTQ 校准并非每层都需要精细调整；可以优先关注输出层和 LM-head 对准，而非逐层最小化隐藏状态误差。
- 若业务依赖长尾 token（例如 niche 品类词、冷门 Semantic ID），需注意量化对低排名 token 的概率扰动更大，建议对长尾候选单独评估或保持关键生成路径高精度。
- 对于需要高一致性的 Agent 多步推理，量化后 top-1 翻转率约 8-13%，仍有风险；在关键决策步骤可采用混合精度或保留 LM-head 及关键层为 BF16。
广义智能体迭代：统一迭代策略改进与递归自改进的形式框架
🧭 Agent 迭代学习的形式化框架
Tianjin University · Shanxi University
提出 GAI 框架，用两个维度统一经典 GPI 与递归自改进，并给出目标漂移与自指缺陷的形式化刻画
📌 工作参考价值（4 点）
- 在电商/推荐的 LLM Agent 自改进链路（如 self-refine、Reflexion）中，可用论文的两个旋钮做架构审查：改进机制是否在 Agent 内、评估标准是否外部接地；优先采用 anchored 配置，把奖励模型或业务指标作为独立外部评估器，避免同模型自评导致 goal drift。
- 多轮自训练或 self-play 策略迭代时，若候选生成与评估标签都由同一模型产生，系统会滑向 fully self-referential；工程上应引入独立线上业务指标、人工标注或固定测试集作为外部锚点，并设置漂移监控。
- 可将改进机制显式外置为独立组件（如单独 prompt、规则或小模型），使系统具备 GPI 式可分析性；等外部评估稳定后再逐步将改进机制内化为 Agent 的一部分，降低不可控递归风险。
- 论文偏理论，无实验或可复用算法；主要价值是提供诊断自改进系统缺陷的坐标语言，适合作为设计评审的思维框架。