HarnessVLN：统一免训练具身导航的 Agent Harness 框架
🧭 具身导航 · 训练免 Agent 框架
Nanjing University · AGIBOT · Tsinghua University
提出训练免的 Agent Harness 框架，通过统一工具接口、三重验证与时空图记忆，统一指令跟随与物体目标导航并刷新 SOTA
📌 工作参考价值（4 点）
- 统一工具接口与 Harness 分层：将感知、检索、接地、执行等封装为工具，由 Harness 统一校验、派发、更新，可复用到电商 Agent 中，把商品召回、意图识别、策略执行等模块解耦为工具，降低切换模型/场景的成本。
- 规划结果的多重验证：在派发动作前用空间证据、几何可行性、子目标一致性做校验，可借鉴到搜索广告投放 Agent：对出价、选品、文案等 proposal 做规则/模型校验，减少无效执行与资源浪费。
- 分层事件记忆与持久时空图：将任务进度、执行历史、失败标注沉淀为结构化图，类似用户 session 内的行为轨迹 + 商品关系图，可用于推荐/对话 Agent 的状态追踪、失败恢复与增量证据累积。
- 可替换 Navigation Executor：把高层计划与底层执行解耦，同一 Harness 协议可跨模拟器与真机迁移，可借鉴到推荐实验平台：策略层统一，执行层适配不同流量/线上环境。
HazardAuditor：从可执行威胁到更安全的计算机使用智能体
🧭 智能体安全执行守卫与策略优化
Ant Group · Zhejiang University · Fudan University · Hunan Institute of Advanced Technology · Shanghai Innovation Institute
执行级安全审计框架 HazardAuditor，通过跨框架事件规范化和 GuardPO 序列级优化，显著提升计算机使用智能体安全守卫准确率
📌 工作参考价值（4 点）
- 对电商/广告 Agent（如自动选品、自动投放、智能客服）的安全监控：不要只审 prompt 和最终回复，要记录并审计运行时的浏览器/终端/文件系统事件流，用统一的 canonical event 表示跨系统行为，才能捕获多步操作组合出的恶意目标。
- GuardPO 训练技巧可直接迁移到内容安全审核、推荐理由生成、广告文案审核等生成式 guard 模型：将确定性的安全/不安全标签转化为序列级 advantage，并把 rationale 和 verdict 区域做长度归一化，避免长解释霸占梯度，让模型的决策部分真正主导优化。
- 跨框架异构 agent 的事件规范化思路可复用于多套推荐/搜索 agent 系统：定义统一的事件 schema（如 click、query、tool_call、file_write），把不同 agent 框架的执行日志转成同一格式，便于训练一个通用安全守卫模型，而不是每个系统单独维护规则。
- 执行级评估集构建方法值得借鉴：在受控沙箱中跑通 Claude Code、Codex 等不同 agent，采集真实执行轨迹作为 guard 训练数据，比静态构造的 prompt-response 对更贴近线上安全风险。
扩散语言模型有界状态推理的寄存器令牌
🧭 扩散语言模型 · 有界状态推理 ★ 深度解读
University of Wisconsin–Madison · Microsoft Research · UC San Diego
用固定位置的寄存器 token 在分块生成间携带连续状态，优于离散文本携带，代码生成提升显著
📌 工作参考价值（3 点）
- 在长期会话、导购或任务型 Agent 中，若上下文预算受限，可借鉴 register token：在固定位置放少量可学习连续 slot，每轮结束后用一次额外 forward 把状态写入 slot，下一轮复用，避免无限拼接历史；训练时随机 mask prompt 并加入全掩码轮次，防止模型直接看原文绕过状态编码。
- 对分块生成长代码、营销文案或批量商品描述的场景，register carry 可替代 full-context，每 chunk 只多一次 forward，论文实验得到 3.4–5.6× wall-clock 加速，代码 pass@1 高于无 carry 的 full-seq SFT。
- RL 微调时，register 可作为可微状态通道：chunked GRPO 的 advantage 能跨 chunk 回传到 register 写入，适合长 horizon 奖励稀疏任务；同时低维 register 可用线性 probe 做状态审计，判断模型是否记住用户目标、任务进度等。
Mind2Dialogue：通过模拟用户心理状态训练人本感知语言模型
🧭 用户心理模拟 · 人本感知LLM训练
UC San Diego · KU Leuven · University of Illinois Chicago · The Ohio State University · Johns Hopkins University
用心理引导模拟器生成共享心理状态对话，并以特权蒸馏训练更懂用户信念与目标的LLM
📌 工作参考价值（4 点）
- 会话式推荐/导购 Agent：可借鉴其用户模拟器，为每次会话维护潜在偏好/目标状态，并用 Oracle 基于该状态生成高质量回复，再通过特权蒸馏训练线上模型——线上只需对话历史，不需要真实心理状态。
- 个性化评测：将个性化与心智理论结合，评估模型能否从用户话中推断偏好并据此行动，可迁移到推荐系统的用户理解指标，而不仅看点击/转化。
- 数据增强：在电商对话数据稀缺时，用心理引导模拟器生成覆盖多变用户人格和演化意图的合成数据，用于微调导购、客服或选品 Agent，降低人工标注成本。
- 多轮交互建模：共享演化心理状态可视为用户长期兴趣与短期意图的状态跟踪，提升搜索/推荐长会话一致性。
模块化递归执行框架自改进：可泛化的对比式 Harness 进化
🧭 Agent harness 自进化 · 模块化归因 ★ 深度解读
Beihang University · University of Manchester · IQuest Research · M-A-P · Langboat
对比同类轨迹并按五个功能模块独立进化 harness，在基准隔离数据上实现跨任务/跨模型可泛化自改进
📌 工作参考价值（4 点）
- 将推荐/搜索 Agent 的执行 harness 拆成 Agent Loop / Tool Use / Observation Management / Context Management / Task Completion Detection 五个模块，每次只改一个模块并限制 diff 范围；这比整体改写 prompt 或流程更可控，适合线上 Agent 的灰度、回滚与归因。
- 采集同一任务的多次 rollout，区分 positive / contrastive / negative 组，用成功-失败轨迹对比定位“哪个机制该改”，并用跨任务投票聚合证据，避免把单条失败轨迹的 case-specific 修复写进全局；可迁移到商品推荐、query 改写、客服 Agent 的失败归因。
- 建立与评估集隔离的进化任务池（benchmark-disjoint），每个改动必须通过 AST/静态检查、import/protocol 校验、以及“是否过拟合当前实例”的 diff review 后才保留，否则自动回滚；这能防止自改进只在测试集刷分，适合离线自进化流水线。
- 维护 Evolution History 和 Trajectory Memory，对函数库做 Function Merge + Task-Aware Function Composition，避免多轮自改进后函数膨胀和振荡；适合把 self-improvement 用于线上持续优化但需要控制风险。
MoME：上下文感知稀疏查找的混合记忆嵌入
🧭 上下文感知稀疏记忆嵌入
University of British Columbia · Vector Institute for AI · Canada CIFAR AI Chair · NSERC CRC Chair
MoME 用上下文门控选择 M 个记忆槽的混合，取代单一行记忆，在 iso 参数/FLOP 下优于现有稀疏记忆基线，并改善 scaling 趋势。
📌 工作参考价值（4 点）
- 在 LLM4Rec / Query 推荐等场景，可将类目、品牌、高频 query 模板等静态知识注入 token 级条件记忆：用 MoME 式混合门控取代固定 embedding lookup，按上下文选择多个 slot，能区分“苹果”手机与水果等多义 token，提升下游意图理解。
- 在线 serving 需要低延迟稀疏查找时，条件记忆比 MoE 更便宜；MoME 的推理开销接近简单 embedding lookup，适合在推荐/搜索模型里增加轻量领域记忆，而无需承担 expert 路由与全激活成本。
- 对于搜索 query 生成/改写，可借鉴其多槽分离机制，将同一 surface token 的多种语义分开存储，由 learned gate 自动识别意图；定性结果显示路由具有可解释性，有助于后续分析或人工干预。
- 工程实现上注意 slot 数 M 与训练 FLOP 的平衡：MoME 在 sub-billion 规模下 memory-size scaling 趋势更优，说明在中小规模模型上增加记忆容量比扩大 dense 参数更具性价比。
全模态流式思考：跨模态证据校验与反驳更新
🧭 流式全模态推理与证据核查
The University of Hong Kong · The Hong Kong University of Science and Technology (Guangzhou) · LIGHTSPEED · University of Sussex · Independent Researcher
通过待定声明、分模态证据校验与反驳更新，缓解流式全模态模型过早跨模态固化，5个基准平均相对提升超10%
📌 工作参考价值（4 点）
- 在直播电商、视频客服、实时内容审核等流式多模态场景中，可借鉴「pending claim + verification interval」机制：先对用户意图或商品属性打待定标签，绑定未来验证窗口，到期用指定模态证据校验，避免视觉线索过早固化为事实。
- 多模态 RAG / Agent 记忆管理可分离存储不同模态证据，对每个 claim 指定验证模态，防止视觉信息覆盖音频等冲突信号，降低幻觉和错误推理。
- 引入 answer gate：仅当关键 claim 通过验证后才允许输出回答，可迁移到实时推荐/对话助手的置信度控制，减少过早错误推荐。
- 冻结大模型骨干 + 轻量适配即可获得显著流式全模态推理提升，适合业务方低成本复用 Qwen-Omni 等开源骨干。
RSIAgent：新环境下的自主探索递归自我改进
🧭 多智能体自主探索与递归自我改进 ★ 深度解读
Aether AI · University of California San Diego · University of Illinois Chicago
训练无关多智能体框架，通过 broad-then-deep 探索构建可复用记忆，让开源模型在 OSWorld/ALE 超越 GPT-6
📌 工作参考价值（4 点）
- 多智能体解耦探索与验证：在电商/广告 agent 中可将任务生成、执行、验证三个角色分离，verifier 独立于 actor 的私有记忆，降低相关错误；尤其适合新平台/新活动页面的自动适配。
- broad-then-deep 探索策略：先并行跑广泛任务覆盖环境结构和常见操作，再针对高失败率/边界 case 做深度挖掘，可迁移到电商 RPA 或 GUI agent 的冷启动记忆构建。
- 记忆冻结与经验所属学习：每个 actor 对自身经验做蒸馏与冲突消解，再串行合并，避免并发写入冲突；记忆以无 schema 文件形式存储，工程实现简单且易复用。
- 用 code-as-policy 统一动作接口：在电商自动化中，用 Python/Bash 脚本操作后台或工具，比逐步 GUI 点击更稳定、易修正，且方便沉淀可复用流程。
VC-Attention：值平滑与 Softmax 投影的低比特注意力
🧭 低比特注意力 · 量化推理加速
Nunchux AI · MIT · CMU · UC Berkeley · Stanford
训练免费的低比特注意力框架，用值平滑和融合概率投影同时提升量化和速度
📌 工作参考价值（4 点）
- 低比特激活量化中，value 异常值往往无固定通道/时空结构，可借鉴 V-Smooth：先对 token 做轻量在线聚类，使硬件 block 内分布更均匀，再对残差（减去块均值）量化，利用 online softmax 维护的 row sum 恢复均值；该方法无需重训，可直接套用到 Transformer 排序模型或 LLM-based Agent 的 attention 推理加速。
- softmax 高精度指数是低比特 attention 的非 GEMM 瓶颈，ExpCast-FP8 把 log-domain 分数直接映射为 E4M3 概率码，用一次融合乘加替代 FP32 指数和格式转换，可迁移到 LLM 推理 kernel，提高 Tensor Core 利用率、降低 pipeline 阻塞。
- 工程上关注到 block 量化尺度由最大值决定、典型值代表范围窄的问题；通过 token 重排 + 残差量化减少误差，这种思路也适用于 embedding/特征的低比特压缩。
- 该工作展示了在多种新 GPU 上对 attention kernel 的精细优化，可作为自研推理引擎中 attention 低比特实现的参考基线；但业务侧若以 CPU/通用 GPU 为主，需要评估移植成本。
无损推测解码真的无损吗？Orthrus 中数值精度的作用
🧭 LLM 推理加速 · 数值精度影响
独立复现验证 Orthrus 并行解码：BF16 下仅约 45% 轨迹精确匹配，FP32 则完全匹配，无损性依赖数值精度。
📌 工作参考价值（4 点）
- 部署 LLM 加速推理（如 speculative decoding、并行解码）时，如果业务要求输出与原始 AR 模型完全一致（例如线上已审核的文案、推荐理由），必须检查数值精度（BF16 vs FP32），否则可能出现轨迹不一致。
- 验证推理加速方案时，不要只依赖下游任务指标（如 lm-eval-harness 分数），应单独评估轨迹等价性，防止下游指标的鲁棒性掩盖了一致性问题。
- 论文发现匹配率与响应条件困惑度强相关：低置信度（高困惑度）的样本更容易出现不匹配，可在工程上针对高风险样本回退到 FP32 或原始 AR 解码。
- 对于生成式推荐/Agent 场景，如果采用 BF16 推理并且追求确定性输出，建议在关键路径保留 FP32 或提高数值精度，同时建立数值精度影响的评估机制。
诱饵方向优化：针对 LLM 消融攻击的事后防御
🧭 LLM 安全 · 权重编辑防御
Carnegie Mellon University
注入高幅非线性诱饵方向扰乱攻击者的消融估计器，低成本后处理防御 RFA
📌 工作参考价值（4 点）
- 若业务部署开源 LLM 做客服/内容审核，担心白盒消融攻击移除安全护栏，可用 DDO 做一次性后处理权重编辑，免去每个新 checkpoint 全量安全微调，优化成本低 30–450 倍。
- 借鉴思路：不隐藏真实拒绝特征，主动注入高幅非线性“诱饵”方向，让攻击者的对比估计失效并消融到无害正交特征，适合保护模型核心能力不被逆向抽取或探测。
- 工程实现只修改 MLP 神经元权重，不改变推理架构、不引入额外 KV cache 或算子，便于接入现有推理管线，风险低。
- 对推荐/Agent 场景，若部署专有策略模型，可利用“注入伪特征”增加黑盒探测成本，类似对抗防御思路保护知识产权。
Lightning Weave：通过能力组合提升推理模型精度-效率前沿
🧭 推理模型 · 能力蒸馏与组合 ★ 深度解读
Massachusetts Institute of Technology · NVIDIA
提出 Lightning Weave，组合独立后训练模型的策略 log-ratio 并稳定离线蒸馏，同时提升推理准确率与 token 效率
📌 工作参考价值（4 点）
- 使用 anchor pair 的 log-ratio 表示能力差异，可迁移到推荐模型蒸馏：从 base 到业务优化模型的策略偏移提取特定能力，避免直接匹配教师分布带来的风格冲突，实现对转化率、多样性等单一目标的精准迁移。
- 多能力加权组合方式可借鉴到生成式推荐/Agent 策略优化：不联合训练冲突目标，而是独立训练不同目标的专家，再在共享状态上组合其 log-ratio 生成单一学生，后续通过权重调节在相关性、多样性、时延等指标间取得可控 Pareto 前沿。
- 离线缓存教师评分 + Tilted-Target DOPD 修正固定点，适合大规模线上蒸馏：让行为策略生成轨迹并一次性缓存多个 anchor 模型打分，训练时只跑学生模型，降低实时服务多教师成本；同时用显式 tilted target 避免离线 KL 估计偏差，稳定收敛。
- 权重扫描获得不同 accuracy-efficiency 档位，可直接用于电商响应质量 vs 成本权衡：按流量价值或场景动态调整组合权重，产出不同档位学生模型或行为模式。
抹平长上下文 MoE 训练的所有显存峰值
🧭 长上下文 MoE 训练显存优化
Salesforce AI Research
针对长上下文 MoE 训练四大显存瓶颈提出四种精确调度，将 120B-667B 模型训练扩展到 1M 上下文，吞吐最高提升 10.4 倍
📌 工作参考价值（4 点）
- 若在业务中训练长上下文 MoE（如融合用户长期行为序列、Agent 记忆的推荐/广告模型），优先采用固定 GPU working set 的调度思路，而不是只看平均显存；PipelinedLLEP 与 Ring-DTP 都能在不改精度下显著压峰值。
- OffloadStreamAdamW 将 CPU optimizer offload 的串行 Adam 改为 bucket 流水线，能直接加速大规模 embedding/排序模型训练中的 offload 更新；若你已用 CPU offload 放优化器状态，可参照其分桶流水实现。
- SCO 只把 checkpoint 边界最占显存的长生命周期张量 offload 到 CPU，适合处理用户长序列的生成式推荐/Agent 轨迹训练，能在基本不增加复杂度的前提下扩大 context 长度。
- 这些方法只改变执行顺序和搬运粒度，梯度与 loss 严格一致，便于在 FSDP/Megatron 等框架上增量实现，风险低。
OmniHarness：符号策略学习实现可泛化视觉生成
🧭 Agent 策略学习 · 视觉生成
Beihang University · The Chinese University of Hong Kong · National University of Singapore
将验证过的执行抽象为可组合符号策略，结合中间验证与自引导练习，免训练实现跨任务泛化与持续能力扩展
📌 工作参考价值（4 点）
- 策略库抽象：将验证成功的 Agent 执行轨迹转成 symbolic policy，剥离实例特定输入，保留通用 SOP 与适用条件，可显著提升新任务泛化；在电商 Agent 中可把高转化对话流程、工具调用序列沉淀为可复用策略，减少重复试错。
- 中间验证而非最终反思：在长链路任务（如商品推荐中的多步 tool call、广告素材生成）中加入 step-level 校验，使错误在早期被发现并触发策略调整，比只在失败后反思能节省大量 token 和时延。
- 自引导练习与能力边界探索：在真实业务流量前，让 Agent 自己生成接近能力上限的练习任务并执行，用执行反馈迭代策略，无需人工标注下游数据即可完成冷启动策略库构建。
- 冻结模型参数、在线更新策略：只更新策略库而不微调 backbone，方便线上快速实验与回滚；对已有 agent 框架可即插即用（frozen policy snapshot），与现有系统兼容性好。
SpectralShift：通过谱重参数化实现门控 DeltaNet 的高效上下文窗口扩展
🧭 线性注意力长上下文扩展训练
Gaoling School of Artificial Intelligence, Renmin University of China · IQuest Research · Microsoft Research Asia
提出谱重参数化方法，通过重塑衰减谱和学习率缩放，提升门控 DeltaNet 的长上下文扩展能力
📌 工作参考价值（3 点）
- 若业务中采用线性注意力或状态空间模型（如 Gated DeltaNet、Mamba）做用户长期行为序列建模，可借鉴谱分析思路：调整转移矩阵初始化，将衰减率分布设计为“慢谱带为主、快衰减模式保留”，既能捕获数月级别的长期兴趣依赖，又能在会话切换时快速重置状态，避免历史噪声污染当前推荐。
- 在将通用 LLM/线性注意力模型继续预训练到业务长上下文场景（如超长用户反馈、多轮 Agent 交互记忆）时，不必盲目全局持续预训练：可只对状态转移相关参数（alpha 投影）做谱重塑初始化，并赋予其更大的学习率，其他层保持常规更新，以更低成本完成上下文窗口扩展。
- 该方法不增加推理计算或 KV cache，适合线上低延迟的推荐/搜索服务；若团队自研线性注意力序列模型，可直接沿用“初始化谱重塑 + alpha 投影学习率缩放”的工程 trick，避免修改推理代码。