PREPING: Building Agent Memory without Tasks
PREPING：无需目标任务的智能体记忆构建
🧭 Agent ★ 深度解读
KAIST · DeepAuto.ai
通过提议者引导的合成实践与验证过滤，在部署前无需任何目标环境任务即可构建可复用程序性记忆
- 多模态冲突鲁棒处理：当文本、图像、语音等模态信号不一致时，CDPR 的双通道设计（直觉路径聚合共识，推理路径显式量化冲突并动态加权）可直接迁移到电商多模态对话或商品理解中，避免错误模态主导决策。
- 语义原型匹配校准：利用原型向量与统计概率校准来量化冲突严重度，可借鉴到推荐系统中有噪声的多模态内容（如用户评论图文不符），提升意图/偏好识别的可靠性。
- 多视角损失防模态懒惰：防止训练中某模态被忽略，适用于电商多模态特征融合（如商品标题、图片、视频），保障各模态信息充分挖掘。
- 表示解耦提供模块化接口：将模态不变与特定特征分离，便于在 Agent 系统中对不同模态组件进行独立优化或故障排查，增强可解释性。
- 无监督奖励塑形：借鉴基于LLM自身token概率的评分函数，在Agent多步交互或推荐多轮对话中，无需人工标注即可识别错误步骤，用于重试或矫正策略。
- 批次内对比定位：利用同一批次多个轨迹的相似性联合评估第一步错误位置，可迁移到电商搜索多意图理解或生成式推荐的HIT预估，通过对比候选序列一致性定位偏差。
- 强化学习稳健训练：uPRM作为reward信号比有监督PRM更稳健，适合推荐策略在线优化时，避免过拟合人工偏好，直接利用模型自身不确定性进行探索。
- 测试时验证器：uPRM作为验证器可提升多数投票基线（+6.9%），在推理链较长的生成式推荐（如Semantic ID生成）中可用于beam search重新排序。
- 条件重要性剪枝可迁移至推荐特征选择：Conditioning Scale Estimator 通过特征激活强度和重叠度评估条件贡献，该思路可直接用于电商推荐系统中的多模态特征筛选，动态剪枝低贡献特征以降低推理成本。
- 端边协同推理适用于大模型部署：Subtask Manager 联合优化卸载策略与带宽分配，平衡本地与边缘延迟，可参考用于 Agent 推理场景中模型分片或模块的动态放置，降低整体响应时间。
- 启发式延迟优化可复用：针对异构任务的计算/通信成本差异，采用启发式算法快速求解近似最优卸载方案，适合需要实时决策的推荐推理流水线，例如决定特征是在 CPU 还是 GPU 侧预处理。
- 特征激活强度分析辅助模型加速：通过量化中间特征的激活强度与重叠，可以指导模型压缩或动态网络宽度调整，在电商图片生成或虚拟试穿等多条件生成场景中直接降低推理开销。
- 语音-音效解耦思想可借鉴用于直播电商中分离主播语音与背景音效，改善音频质量。
- 双向跨模态强制策略可用于对齐商品视频中的动作与声音，提升视频内容的一致性。
- 语义引导的自适应门控机制可应用于多模态推荐中，动态调节不同模态特征的贡献。
- 主要贡献在视频生成学术领域，直接业务应用场景有限。
- 自演进上下文管理可借鉴用于用户行为序列建模：以实体为中心存储历史交互，结合预测反馈动态调整检索规则，缓解长周期行为依赖中的证据碎片化问题，适用于电商推荐中的用户长周期兴趣追踪或风控中的异常模式发现。
- 在线策略自蒸馏（OPSD）利用“反思”或特权信息作为教师信号，强化模型对早期弱信号的敏感度，该方法可迁移至推荐序列中早期兴趣察觉或欺诈交易的微弱特征捕捉。
- 技能库的自我进化机制（根据高风险预测结果提炼可复用规则）可启发对话式 Agent 或推荐 Agent 的经验积累设计，让 Agent 在交互中逐步沉淀高价值决策知识。
- 数据集构建方式（将真实欺诈案例嵌入正常日志合成长期流式轨迹）可为流式推荐中的异常检测基准提供参考，尤其适合需要评估“早期”与“低误报”双重指标的实时系统。
- 用少量人工标注（100 条）即可引导 Agent 自主迭代进化评估标准，大幅降低构建评价模型的成本，可借鉴到电商多模态内容（商品图/视频）的 automated evaluation 或 RLHF reward signal。
- Orchestrator + Sub-Agent 的推理链架构，通过选择工具和技能来构建判断逻辑，类似可应用于推荐系统中排序策略的评判或解释生成，提升可解释性与可干预性。
- 自进化工具库的维护方式（分析成功/失败案例后增删改工具）提供了 Agent 持续学习的工程范式，可以迁移到多智体协作场景，让评估 Agent 随着业务迭代自动适配新准则。
- 冻结子模型配合技能库的思路，让 API-only 模型也能参与 reward modeling 的迭代，对使用闭源大模型做判断的业务有参考意义。
- 在RL微调前，用启发式提示生成多种正确推荐理由或对话策略，进行多样化监督训练，可拓宽探索空间并提升RL最终性能。
- 借鉴“固定训练量下，多样化比增加任务数更有效”的结论，在生成数据时，为同一用户或商品生成多个正确但风格不同的响应，而非追求更多样本。
- 使用规则验证器+奖励模型筛选自生成数据，可确保多样性与正确性的平衡，可用于Agent多智体协作策略生成。
- 理论分析指出多模态策略分布有助于梯度更新，可在策略网络中设计多分支输出或温度控制，避免模式崩塌。
- 低延迟文本生成：TTCD 的确定性连续扩散避免了多 token 并行采样的因子分解误差，在高加速比（少步生成）下质量稳定，适合电商搜索推荐中的实时文案生成、对话 Agent 响应等场景，可直接移植其连续演化思想。
- 可控多字段生成：每 token 可独立设置扩散速度，允许“确定度高的 token 先到位”；在生成式推荐中，可用于先生成核心语义 ID 或关键属性，再填充细节，提升生成质量和可控性。
- 自蒸馏训练技巧：论文采用自蒸馏提升最终生成质量，此方法可应用于工业界小模型（如移动端或边缘设备上的轻量 LM）的训练中，无需额外数据即可优化。
- 连续空间避免误差累积：若系统涉及多轮迭代生成（如 Agent 规划链式输出），连续扩散可降低离散采样带来的级联错误，可考虑在内部协议生成或 API 参数生成中借鉴该框架。
- 若在电商搜索/推荐中引入LLM处理查询或生成推荐理由，可借鉴四条公理（因果性、极小性、可分离性、稳定性）自评模型内部表征，诊断其是否真正编码了任务相关信息而非表面统计
- 面对Agent规划时，评估隐状态是否对不同子目标具备可分离性、对同任务扰动是否稳定，从而在部署前定位结构性问题，避免仅凭下游任务指标误判
- 在生成式推荐模型中，检查生成item的隐向量是否满足因果性（关键输入token促成了表征）、极小性（冗余信息少），可帮助优化编码器结构
- 该框架提供了一套与基准分数解耦的表征评测量化方法，可直接嵌入内部模型评估管线，用于对比不同训练策略或架构对表征质量的影响
- 逐步多教师协作生成数据：让多个异构模型按步骤共同构建推理链，用预测性指标动态选择最优步骤，避免后验选择完整响应的浪费，可用于生成高质量的训练数据，如商品推荐解释或Agent决策推理。
- 预测困惑度作为步骤质量信号：利用元模型计算当前前缀下正确答案的概率来评估中间步骤，无需额外训练奖励模型，轻量且有效，适用于长序列生成中的中间步骤评估。
- 束搜索保持多样性：用多个并行轨迹保留有潜力的推理分支，防止过早贪婪选择，允许自我纠正和策略转换，在多智体交互中可保留多个方案，提升最终结果质量。
- 步骤分割一致性：通过提示工程（如“### Step”）强制不同模型输出结构统一的步骤，便于跨模型比较和组合，可迁移到生成式推荐中需要多模型协作生成推荐理由的场景。
Mitigating Multimodal Inconsistency via Cognitive Dual-Pathway Reasoning for Intent Recognition
认知双通道推理缓解多模态不一致性用于意图识别
🧭 多模态意图识别 · 冲突消解与双通道推理
Hebei University of Science and Technology · Hebei University of Economics and Business
用直觉与推理双通道动态融合，量化并消解多模态冲突，实现鲁棒意图识别
📌 工作参考价值（4 点）
WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation
WildClawBench：面向真实世界长周期智能体的基准测试
🧭 Eval ★ 深度解读
Shanghai AI Laboratory · The Chinese University of Hong Kong · Fudan University · University of Science and Technology of China · Shanghai Jiao Tong University
构建60个真实长周期多模态Agent任务，揭示前沿模型在原生运行时下最高仅62.2%
Unsupervised Process Reward Models
无监督过程奖励模型
🧭 PRM训练 · 无监督学习
Swiss Federal Institute of Technology (EPFL)
提出无需人工标注的无监督PRM，通过LLM next-token概率联合定位第一步错误步骤
📌 工作参考价值（4 点）
Forcing-KV: Hybrid KV Cache Compression for Efficient Autoregressive Video Diffusion Models
Forcing-KV: 面向高效自回归视频扩散模型的混合 KV 缓存压缩
🧭 Multimodal ★ 深度解读
ZJU · Video Rebirth · HKUST · BJTU
发现自回归视频扩散模型注意力头分为静态和动态两类，提出混合 KV 缓存压缩，结合静态结构剪枝与动态相似性剪枝，实现最高 2.82× 加速和 30% 显存减少
Accelerating Multi-Condition T2I Generation via Adaptive Condition Offloading and Pruning
通过自适应条件卸载与剪枝加速多条件文生图生成
🧭 多模态生成 · 端边协同推理优化
Huazhong University of Science and Technology · Central South University
端边协同系统通过启发式卸载和特征驱动条件剪枝大幅降低多条件T2I延迟，同时提升生成质量
📌 工作参考价值（4 点）
Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation
Unison：人体视频的动作、语音与音效和谐生成框架
🧭 多模态生成 · 动作-音频对齐
通过语义引导的语音-音效解耦和双向跨模态强制策略，实现人体视频中动作、语音和音效的协同生成。
📌 工作参考价值（4 点）
ORACLE: Anticipating Scams from Partial Trajectories in Streaming App Usage
ORACLE：从流式应用使用部分轨迹中预测诈骗
🧭 流式跨应用欺诈早期预测智能体 ★ 深度解读
Harbin Institute of Technology, Shenzhen · Shenzhen University · Zhejiang University · National University of Singapore · Guangming Laboratory
提出首个流式跨应用诈骗早期预警智能体框架，通过自演进上下文管理与在线策略自蒸馏实现更早更准的预警。
📌 工作参考价值（4 点）
RewardHarness: Self-Evolving Agentic Post-Training
RewardHarness：自进化智能体后训练框架
🧭 Agent 自进化奖励建模
University of British Columbia · Vector Institute · Kuaishou Technology · Carnegie Mellon University · University of Waterloo
将奖励建模从权重优化转为上下文进化，用少量样本自动演变工具技能库，实现高数据效率评估
📌 工作参考价值（4 点）
Mid-Training with Self-Generated Data Improves Reinforcement Learning in Language Models
用自生成多样化解题轨迹增强大语言模型的强化学习推理
🧭 自生成多样化解题轨迹增强RL推理 ★ 深度解读
Arizona State University · Google Cloud AI Research · Google DeepMind
自生成多样化解题轨迹指导中期训练，提升后续强化学习的推理性能和策略组合能力
📌 工作参考价值（4 点）
Long Context Pre-Training with Lighthouse Attention
灯塔注意力：长上下文预训练的高效对称分层注意力方法
🧭 Training ★ 深度解读
Nous Research
对称池化Q/K/V并解耦选择的层次化注意力，训练长上下文时大幅加速且可无损恢复为密集模型
STALE: Can LLM Agents Know When Their Memories Are No Longer Valid?
STALE：大模型智能体何时知晓记忆已过时？
🧭 Agent ★ 深度解读
武汉大学 · 香港中文大学 · 香港科技大学
提出STALE基准评估LLM隐式记忆冲突，揭示检索与行动脱节，及写入侧状态裁决的有效性
Token Time Continuous Diffusion for Language Modeling
Token时间连续扩散语言建模
🧭 扩散语言模型 · 连续空间与每token时间步
UT Austin
提出连续空间上token级时间可变的扩散语言模型，解决高加速比下离散模型并行采样不准确问题
📌 工作参考价值（4 点）
Formalizing Latent Thoughts: Four Axioms of Thought Representation in LLMs
形式化潜在思维：大语言模型思维表征的四条公理
🧭 LLM 思维表征的公理化评估
University of British Columbia
提出四条表征公理并审计发现现有LLM的潜在思维表征均无法同时满足，显露出结构性缺陷
📌 工作参考价值（4 点）
Distilling Long-CoT Reasoning through Collaborative Step-wise Multi-Teacher Decoding
通过协作逐步多教师解码蒸馏长链推理
🧭 长链推理蒸馏 · 多教师协作解码 ★ 深度解读
KAIST · UNIST
提出CoRD框架，通过逐步多教师协作解码和预测困惑度指导，高效生成高质量长链推理数据，显著提升学生模型性能。
📌 工作参考价值（4 点）
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330