奖励非随机缺失MDP的离线策略评估方法
🧭 离线策略评估 · 缺失非随机奖励
Department of Statistics, University of Michigan at Ann Arbor · Department of Statistics and Applied Probability, University of California at Santa Barbara · Department of Mathematical Sciences, University of Texas at Dallas
利用未来状态与桥函数识别MNAR奖励，构建缺失感知的FQE式OPE估计量
📌 工作参考价值（4 点）
- 离线评估奖励缺失场景：当用户反馈（点击/转化）稀疏且非随机缺失时，传统OPE有偏，可采用影子变量（未来状态）和桥函数方法纠正选择偏误，提升评估准确性。
- 利用用户后续行为作为工具变量：在用户路径数据中，后续浏览、停留时长等可作为影子变量，帮助推断缺失的转化奖励，无需依赖不可验证的缺失机制假设。
- FQE式实现：工程上可基于Fitted Q-Evaluation框架，用神经网络学习Q函数，并集成桥函数通过min-max优化估计，避免显式建模缺失模型和双重采样，适合大规模推荐系统。
- 支持缺失感知策略评估：新策略可根据历史缺失模式调整动作（例如对不活跃用户增加激励），本方法允许评估此类策略，更贴合实际业务需求。
解密数据受限下语言模型预训练的训练时数据增强
🧭 训练时增强 · 多轮训练正则化
UC San Diego · RMIT University · Bloomberg AI
系统研究三类训练时增强（token噪声、序列置换、目标偏移）缓解自回归模型在多轮数据训练时的严重过拟合
📌 工作参考价值（4 点）
- 当训练数据有限需反复遍历（如用户行为序列）时，可在自回归下一行为预测中引入随机 token 替换或 masking 作为增强，延迟过拟合，降低验证损失。
- 组合多种增强类别（如随机替换 + 序列逆序 + 偏移预测）能进一步降低最小验证 loss，可作为通用训练 trick 加入推荐模型的预训练或微调流程。
- 目标偏移预测（预测未来第 k 个 token）可迁移到用户长序列建模中，强制模型学习更长期的依赖，减轻短视过拟合。
- 该方法实现简单，不改变模型结构，适合在现有自回归推荐（如 SASRec 类）或 LLM-based 生成式推荐中快速实验。
扩散Gemma透明度如何？
🧭 扩散模型透明度分析
Google DeepMind
通过token瓶颈使扩散LLM透明度媲美自回归模型，并揭示扩散特有推理现象
📌 工作参考价值（4 点）
- 扩散模型中插入可解释token瓶颈（token bottleneck）可在不牺牲性能的前提下，使中间隐状态映射为可读token序列，显著降低不透明串行深度，可迁移至扩散式生成推荐（如物品序列生成）中实现可解释的中间步骤。
- 扩散模型输出概率监控性（monitorability）与自回归模型相当，因此下游任务（如异常检测、置信度过滤、主动学习）对扩散生成结果的可干预性不受影响，实践中可放心复用自回归模型的监控方法。
- 扩散模型可能出现非时序推理（non-chronological reasoning）和token涂抹（smearing）等现象，依赖生成顺序的可解释性不可靠，设计基于扩散的对话Agent或规划系统时应谨慎对待中间推理踪迹，考虑其他验证机制。
- 算法透明度方面的退化提示，扩散模型内部可能执行复杂分布式算法，需警惕在安全敏感场景中仅靠输出概率不足以理解模型行为，建议结合额外探测手段。
扩散模型中时间步嵌入的冗余性研究
🧭 生成架构简化与冗余去除
Independent Researcher, Lima, Peru
证明扩散模型可在无显式时间步嵌入下达到最优，输入可隐式推断噪声尺度，实现更高效生成架构
📌 工作参考价值（4 点）
- 在基于扩散的推荐模型（如 DiffRec）中，可尝试移除时间步嵌入，利用用户交互序列或物料特征直接隐式推断噪声尺度，减少额外调制参数
- 简化时间步调制后，推理阶段无需处理时间编码，降低工程复杂度与延迟，适合在线推荐场景
- 无时间步嵌入的扩散模型可能更鲁棒，尤其在数据稀疏的冷启动场景，模型会更关注内容结构而非时间信号
- 注意力可集中于去噪网络本身的结构设计，为序列推荐中利用上下文长度、时间间隔等信息提供新思路
“连接点”：用RL训练长生命周期Agent的跨域泛化
🧭 Agent 长生命周期元能力训练 ★ 深度解读
Alibaba Group
提出 CoD 框架，用端到端 RL 训练 LLM 在长序列任务中自我更新上下文，实现跨域泛化
📌 工作参考价值（4 点）
- 长周期交互的Agent训练范式：推荐/广告场景中的对话式Agent需在多个会话中持续积累用户偏好，可借鉴 CoD 的「解决任务 + 更新上下文」交错部署模式，训练模型主动维护并利用对用户或环境的记忆。
- 信用分配技巧：采用动态规划思想，将每集回报定义为当前及未来任务奖励的均值，并以同位置轨迹均值作为基线计算优势，可迁移到多步推荐优化中，缓解长序列信用稀疏问题。
- 探索激励环境设计：通过隐藏关键信息（如动作映射）制造信息瓶颈，迫使模型主动探索，可用于构造模拟用户意图欠明确场景的训练集，提升 Agent 的主动信息获取能力。
- 合成环境到真实业务的迁移：实验显示在简单游戏环境中训练的元能力能泛化到终端仿真任务，业务中可尝试在低成本合成环境训练长生命周期能力，再迁移到真实业务 Agent。
流式工具使用何时有效？基于工具意图稳定化的流式 RAG 延迟隐藏分析
🧭 流式 RAG 意图稳定化与延迟优化
SMG Labs
在流式 RAG 中，通过分析工具意图稳定点，量化了可隐藏的延迟比例并揭示了早期意图形成的查询特性
📌 工作参考价值（4 点）
- 搜索自动补全/对话式推荐中，可借鉴投机查询思想：在用户输入进行时并行检索，当意图稳定后利用剩余输入时间隐藏检索延迟。
- 意图稳定点分析可指导何时触发推荐或 query 生成：早期意图稳定（如问题类型）可预测，从而提前启动计算，减少感知延迟。
- 提供的无模型边界 H 可为系统设计提供理论最大延迟隐藏能力，评估不同配置下的收益。
- 对于电商客服机器人，可以预测用户问题类型，在输入早期即发起商品或政策检索，提升响应速度。
LLM表面心理画像大多是方向应答偏差的假象
🧭 LLM评估方法论批判
Max Planck Institute for Human Development · University of Konstanz · Barcelona Supercomputing Center · University of Basel
量化证明LLM心理测评差异81-90%由方向应答偏差驱动，而非真实心理特质
📌 工作参考价值（4 点）
- 在将LLM作为用户模拟器或评估其“类人”特质时，避免直接套用人类心理量表，因为模型响应主要由方向性偏差（总是偏向某极或某标签）驱动，不反映真实倾向。
- 设计推荐理由生成、用户意图理解等任务时，需通过正交化项目设计或指令校准控制LLM的应答偏差，否则可能得到系统性偏向的推荐结果。
- 评估LLM驱动的Agent时，不应将量表得分直接解释为稳定人格，应考虑测量工具本身的偏差结构，否则会误判Agent行为风格。
- 若利用LLM生成多样化的用户画像或偏好标签，可借鉴“响应正交性”概念，构建平衡偏差与目标维度的题目池，提高标签有效性。
MakeupMirror：在妆容迁移扩散模型中提升面部属性保留
🧭 虚拟试妆 · 扩散模型精细化控制
Amazon
通过面部几何控制、区域特定调制和肤色保持，将人脸识别相似度相对提升60%，肤色差异降低50%，推理仅0.7秒
📌 工作参考价值（4 点）
- 电商虚拟试妆：引入 ControlNet 编码面部几何（如边缘、关键点），可在生成中保持人脸结构不变，适合直接移植到在线试妆服务
- 区域特定调制：通过皮肤、眼唇等区域 mask 分别控制 makeup 强度和风格，避免溢出，提升妆容自然度，可迁移至商品图上局部修饰
- 肤色保持模块：跨人妆容迁移时根据源肤色调整参考妆容色彩，防止肤色漂移，增强用户信任，这对生产级 VTO 至关重要
- 加速采样：使用 Levenberg-Marquardt Langevin 采样器，将 50 步扩散降至 0.7s 推理，平衡质量与速度，适合移动端部署
MemGUI-Agent：基于主动上下文管理的端到端长时域移动GUI智能体
🧭 Agent 上下文管理优化
浙江大学 · 快手科技
提出 Context-as-Action，将上下文管理作为一级动作压缩历史，让 8B 模型在长时域移动任务上超越更大规模模型
📌 工作参考价值（4 点）
- 长时域任务中引入“折叠历史”机制：在电商客服、导购 Agent 等多轮交互场景，可将对话历史分为“动作摘要+状态摘要+近期细节”三字段，关键信息不丢失且上下文长度可控，避免 ReAct 模式下的 token 爆炸与事实稀释。
- 将上下文管理作为策略动作统一训练：在推荐对话或任务型 Agent 中，把“忘记/压缩/总结”等上下文操作与业务动作（如查询商品、推券）纳入同一策略模块，端到端 SFT 可让模型学会主动压缩冗余信息，提升长会话稳定性。
- 构造结构化动作-上下文标注数据：可借鉴 MemGUI-3K 构建思路，为 Agent 交互轨迹增补“折叠/保留”等上下文管理标注，用于微调小尺寸模型，使其在长任务中推理成本更低、窗口利用率更高。
- 小模型通过上下文管理超越大模型零样本：该工作证明 8B 模型通过主动上下文管理可超越 235B 模型的零样本性能，适合资源受限的电商场景（如端侧智能助手）低成本部署。
弥合语义缓存中的校准鸿沟
🧭 语义缓存校准与评估指标
New York University · Redis
指出语义缓存评估重排名轻校准导致部署性能差，提出缓存感知的校准指标P-CHR AUC与CRR
📌 工作参考价值（4 点）
- 语义缓存选型时，不要只看PR-AUC，应优先评估分数的校准度（如使用P-CHR AUC或CRR），否则线上高排名模型可能给出不可靠的阈值，导致过多误命中。
- 部署前做分数截断阈值扫描时，直接使用P-CHR AUC曲线观察不同缓存利用率下的精度，平衡成本与质量；CRR能快速估算离线排序指标有多少能迁移到线上。
- 校准差距主要由训练目标（如对比损失 vs. 交叉熵）决定，而不是数据规模，因此改进语义相似度模型的训练目标比堆数据更有效；已有模型可通过温度缩放、直方图分桶等后校准手段部分弥补，但不能完全消除差距。
- 设计缓存系统时，将缓存命中决策视为二元分类问题，显式考虑正样本率（查询重复率）带来的结构性上限，避免在低重复率场景下盲目追求高召回。
面向AI代理的高效可靠概率验证
🧭 Agent 概率安全验证 · 分布鲁棒优化
Google DeepMind · Google · University of Pennsylvania · University of Wisconsin–Madison
基于分布鲁棒优化提出概率验证框架，不依赖独立性假设，计算策略违规概率严格上界，安全-效用权衡优于现有方法
📌 工作参考价值（4 点）
- 在推荐/广告Agent中，安全策略常含不确定性（如敏感内容检测器召回率有限），可借鉴其概率谓词建模方法，将组件失败概率纳入形式化策略，并使用分布鲁棒优化计算整体违规风险上界，避免依赖不现实的独立性假设。
- 工程实现中，可将该框架集成到Agent运行时监控系统：对每个工具调用或状态变迁，实时查询Datalog策略，并用凸优化器高效计算当前风险上界；当上界超过阈值时触发降级动作，实现可量化的安全兜底。
- 框架不要求各概率事件独立，适合电商推荐Agent多步骤长链路场景（如检索→过滤→排序→文案生成），其中错误可能因上游模型相关而叠加，直接应用该上界计算方法能更真实地评估端到端安全风险。
- 上界计算的可解释性可用于业务风控：为每个策略规则输出违规概率贡献，帮助安全团队理解风险来源，调整检测器阈值或策略约束，从而在安全性与推荐效果间取得更好的平衡。
面向上下文密集型智能体的4位KV缓存压缩方案
🧭 Agent推理缓存压缩优化
Advanced Micro Devices · University of California, Los Angeles · Purdue University
针对多轮Agent场景设计4位KV缓存压缩，通过非对称K/V处理、Walsh-Hadamard旋转及AMD GPU优化，大幅降低延迟并提升吞吐
📌 工作参考价值（4 点）
- Agent/多轮对话推理优化：长上下文智能体（如购物助手、搜索Agent）的KV缓存可压缩至4位，在缓存压力下TTFT降低3.47倍，吞吐提升63%，可直接用于线上服务降本提速。
- 非对称K/V量化策略：对Key应用Walsh-Hadamard旋转等保精度措施，Value可更激进的量化，这一设计可直接移植到推荐模型中Transformer结构的KV缓存压缩。
- 硬件适配与部署：利用FP8查询+FP4 KV张量的近似路径，以及CDNA4的scaled-MFMA指令，为在特定GPU上最大化吞吐提供工程范例，可参考其流水线设计。
- 多轮负载评估框架：论文强调联合测量任务质量、缓存驻留和吞吐，电商Agent在评估压缩方案时可借鉴这种多维度基准测试。
面向 Token 操作的大模型推理优化技术
🧭 大模型推理成本与效率优化
China Unicom (Data Intelligence / Data Science and AI Research Institute) · Tsinghua University · Peking University · Fudan University · Zhejiang Lab
首次提出四层 token 推理优化架构，系统梳理降本增效的产业技术路径
📌 工作参考价值（4 点）
- 模型路由与多模型融合：推荐系统常需多模型（精排、粗排、RAG等）协同，可借鉴论文的模型路由与融合调度策略，减少总推理调用量，降低 token 成本。
- KV Cache 命中与跨阶段复用：对话式推荐、Agent 记忆、长会话推荐中，跨请求的 KV Cache 缓存与预填充策略可直接降低首 token 延迟，提升交互体验。
- 量化与投机解码落地：对部署在 CPU/端侧的 LLM4Rec 模型，采用 INT4/INT8 量化、投机解码等典型技术可将推理成本压缩 3-5 倍，适合高并发推荐场景。
- 动态批处理与负载均衡：在推荐模型在线服务中，动态 batching 与跨节点的负载均衡可平滑流量峰值，保障推荐链路稳定性，尤其适合大促峰值保障。
MobileForge：移动 GUI 智能体的无标注适应与分层反馈策略优化
🧭 移动 GUI Agent · 无标注适应与策略优化
Zhejiang University · Kuaishou Technology · Tsinghua University
提出无标注适应框架 MobileForge，通过分层反馈引导的步骤级 GRPO 将开源 MLLM 提升至接近闭源移动 GUI 智能体水平
📌 工作参考价值（4 点）
- 无标注任务生成与课程挖掘：通过探索真实 App 自动生成多样化任务，并按难度课程化，可在电商搜索/推荐 Agent 的模拟环境搭建中复用，降低人工构造训练数据成本。
- 步骤级过程反馈驱动优化：HiFPO 将 rollout 结果、步骤级过程信号和纠正性提示联合用于策略更新，可借鉴到对话式推荐/导购 Agent 的强化学习训练，利用每轮对话的过程质量信号替代粗粒度成功/失败奖赏。
- GRPO 的 hint-contextualized 扩展：将纠正提示作为上下文增强 GRPO 更新，可在 LLM 驱动的推荐解释生成或查询改写任务中，使用用户反馈（如点击、修改查询）作为 contextual hint 进行在线策略改进。
- 跨领域迁移能力验证：在 AndroidWorld 适应后在 MobileWorld 仍有 41% 成功率，提示无标注适应可泛化到新 App 环境，对在多个电商平台或不同垂直领域的 Agent 迁移有一定参考价值。
你的鼠标和眼睛悄悄泄露偏好：基于隐式反馈的LLM对齐
🧭 隐式反馈LLM对齐 · 多模态行为信号
University of Massachusetts, Amherst · York University
利用鼠标轨迹与眼动追踪等隐式用户信号，显著提升LLM对齐的奖励模型准确率与DPO优化效果
📌 工作参考价值（4 点）
- 对话式推荐/Agent交互中植入隐式信号收集：在电商导购Agent或搜索推荐对话界面中，可低成本采集鼠标悬停、停留时长、滚动行为、甚至眼动数据（如用户授权），作为比显式点击/购买更稠密的偏好信号，用于细粒度reward建模。
- 奖励模型融合trick：使用随机森林等非线性模型融合隐式行为特征与文本特征，比纯文本reward模型提升9个百分点，可直接迁移到推荐系统中的用户意向打分或排序融合。
- DPO训练中注入隐式反馈权重：将基于鼠标/眼动的偏好得分作为DPO优化中的似然权重或对比对的选择依据，类似rDPO with NLL，可让生成结果更贴合真实用户关注模式。
- 数据收集与隐私平衡：论文所用Mechanical Turk的webcam眼动方案成本较低，电商搜索/Agent产品可考虑在用户知情同意下进行小规模采集，用于对齐模型的持续优化。