上下文匹配蒸馏：面向自回归视频蒸馏的教师因果性
🧭 视频生成蒸馏 · 因果对齐
NVIDIA · University of Surrey
提出因果蒸馏框架 CMD，对齐教师评分与学生生成时的因果信息集，提升自回归视频生成控制精度
📌 工作参考价值（4 点）
- 因果对齐的蒸馏思想可迁移到序列生成模型（如自回归推荐、对话式 Agent）：教师评分时应只使用学生生成该 token 时已见到的历史与上下文，避免未来信息泄露造成训练-推理不一致。
- Prefix Scoring 用学生实际生成的前缀（而非真实前缀）让教师评估当前 token，这类似于 NLP 中的 on-policy 蒸馏，可借鉴到基于 LLM 的序列推荐或搜索 query 生成中，以缓解 exposure bias。
- Prefix Corruption 通过对早期不可靠前缀加扰动来稳定训练，可应用于 RLHF 或蒸馏框架中处理训练初期策略不稳定问题，尤其在实时交互式生成场景（如直播电商文案、动态广告素材生成）有价值。
- 论文主要面向视频生成，与电商/推荐直接业务关联有限，但其中的低延迟自回归生成 + 在线控制思想，对需要实时响应的交互式推荐系统（如对话推荐、动态出价策略）有架构参考意义。
生成式文档检索的 Token 级信用分配优化
🧭 生成式检索 · Token 级信用分配 ★ 深度解读
Shandong University · Peking University · Baidu Inc. · Leiden University
提出 TCA，用 gold hidden-state 轨迹对齐赋予每个 DocID token 细粒度奖励，并以 GRPO 位置归一化优化生成式检索。
📌 工作参考价值（4 点）
- 若在做生成式 item 检索 / semantic ID 生成，不要把 RL reward 当 sequence-level 标量广播到所有 token；可复用 TCA：冻结 SFT 参考模型，缓存 gold item ID 的 decoder hidden states，用当前生成 hidden state 与 gold 的余弦相似度作为 token 级 reward，再加 exact-match bonus 与长度惩罚，轻量且直接对齐解码轨迹。
- 用 GRPO 时，优势估计采用按解码位置在候选组内做标准化，而不是学习 value function；这在离散、trie 约束的 ID 空间中更稳定，尤其适合电商类目树或语义 code 类结构化 ID。
- 保留 constrained decoding / trie 约束；没有约束的 rollout 会生成大量非法或低质量 ID，token 奖励噪声大，NQ-PQ 上 R@1 掉 4.84。业务中生成类目路径或 SKU ID 时，RL 采样和推理阶段都要做合法前缀/路径约束。
- KL 正则强度按 ID 类型区分：lexical / title-URL 类 ID 用很小 KL(0.01) 防止语言模式漂移；semantic / PQ code 类 ID 敏感，KL=0 效果最好。电商场景若生成长尾商品标题或 ID，可按 ID 是否语义化调这个超参。
声明级可靠性评估：高效测试时推理
🧭 LLM测试时推理 · 声明级证伪
Sina Weibo Inc.
提出声明级证伪的测试时计算重分配框架CLR，用关键声明验证替代额外采样，提升推理准确率并节省37% token
📌 工作参考价值（4 点）
- 在Agent多步工具调用或推理链中，不要对整条trace打分，而是先抽取决策关键声明（decision-critical claims）进行定向验证，可避免常规token噪声稀释错误信号，提高错误步骤召回率。
- 利用“构造难、证伪易”不对称性：对候选答案做语义证伪而非整体重生成，通过查找单点致命矛盾淘汰错误候选，比多数投票更省token且更准；可应用于排序/召回中的多候选融合。
- 推理服务资源受限时，把额外算力从“多采样”转移到“验证器”：用轻量模型或规则对声明级证据做检查，工程上可获得类似本工作37% token节省，同时准确率提升。
- 设计非线性可靠性评分抑制高置信错误共识，而不是简单平均置信度；对电商搜索中的query改写、答案生成等场景，可提升最终输出聚合质量。
收敛式绕路劫持：技能型 LLM Agent 中保持任务完成的资源放大攻击
🧭 LLM Agent 技能选择与规划安全
Shenzhen University · The Chinese University of Hong Kong · The Chinese University of Hong Kong, Shenzhen
提出 CDH 攻击，利用技能描述选择与指令体规划两阶段耦合，在任务完成率不变下放大 token 与执行时间消耗
📌 工作参考价值（4 点）
- 在 Agent 技能平台中，不要只依赖自然语言描述做相关性选择：可增加成本/资源元数据（如预估 token、最大耗时）并在选择阶段就进行成本约束，避免“描述相似但执行昂贵”的技能被选中。
- 监控 Agent 轨迹的 token 消耗和时间异常，尤其是任务完成但资源消耗显著高于基线的 run；可设置基于任务类型的分位数告警，检测 CDH 这类“完成但绕路”的放大攻击。
- 对第三方技能做隔离和资源限制：即使技能指令本身无恶意，也可能通过伪造依赖关系招募多余良性工具；可在规划后对工具链做依赖校验，剔除与目标无关的中间步骤。
- 借鉴攻击思路做成本压力测试：在评估自研 Agent 或推荐 Agent 时，故意注入“看似相关但增加绕路”的技能，检验系统是否有足够的成本鲁棒性和轨迹完整性保护。
属性条件多模态槽分解实现可控时尚检索
🧭 多模态可控检索 · 属性槽分解
Walmart Global Tech
将 Fashion-CLIP 多模态嵌入分解为四个命名属性槽并学习各自的 text-image gate，显著提升约束满足率
📌 工作参考价值（4 点）
- 商品检索/推荐中，可把单一商品 embedding 拆成多个命名属性槽（类目、颜色、图案、人群等），每个槽独立表示，避免不同属性信号相互干扰，实现更细粒度的可控召回。
- 借鉴 text-image gate 机制：视觉属性（颜色、图案）自动偏向图像证据，类目等结构化属性偏向文本证据。电商多模态商品表示可以根据属性类型分配模态权重，无需人工指定。
- 属性槽量化后的 slot code 支持定向干预（如颜色提升 15.3x），可用于线上检索诊断、属性级重排或人工干预策略，比全局 embedding 或 item-level semantic ID 更可解释、可操作。
- 使用「槽相似度 + 槽 logit 得分」组合评分，相比简单等权多模态融合提升约束满足率，该 scoring trick 可直接迁移到多属性约束的商品检索场景。
SkillEvo：多轮交互反馈驱动的自更新智能体技能进化
🧭 Agent Skill 自进化 · 多轮反馈 ★ 深度解读
Tencent Cloud Andon · Zhejiang University
把多轮用户模拟从评估终点改为反馈生成器，并用独立治理层主动修复知识退化，使技能进化梯度可持续
📌 工作参考价值（4 点）
- 多轮用户模拟不要只当测试集，要做成持续产出“可修复知识缺口”的反馈器：电商客服/导购 Agent 可从真实工单抽取 intent agenda + behavior facts + emotion trajectory，让模拟用户按状态机逐层追问，暴露单轮 QA 看不到的深层缺陷；每轮修复后对话自然进入下一层，梯度可再生。
- 反馈可信度三条件值得照搬：coverage/accuracy/attributability。用 intent state machine 保覆盖，用 dual-sided orthogonal evaluation 区分 simulator 和 agent 责任，用 collective attribution 把失败分成 Knowledge Gap / Capability Limit / Evaluation Noise，只把 Knowledge Gap 送入修订。业务里先归因再改知识库，能避免把权限、工具或评测噪声误写成知识。
- 治理层不要只做标量门禁，要做“结构诊断+主动修复”：对 Skill/知识库做 fact consistency 硬约束（dual anchors 分别抓跨轮知识丢失和本轮新增事实错误）和 structural consistency 软约束（bloat、断链、过度泛化）。RAG 知识库、policy 文档、推荐策略知识库的多轮更新都适用，能明显抑制膨胀和事实漂移。
- 版本选择用 dev 集而不是最终标量分数；自动修订不直接上线，保留 human checkpoint。线上 Agent 知识库或策略库的 closed-loop 更新可以采用同样的工程护栏。
VAKRA：评估工具策略下跨 API 与检索的多跳推理
🧭 Agent 工具调用评测基准
IBM
推出 8000+ 可执行 API 的企业 Agent 评测基准，发现模型失败集中在语言中介推理与策略约束
📌 工作参考价值（4 点）
- 真实 API 重执行验证：评测 Agent 时用可执行 API 重放预测的工具调用并验证结果，比静态答案更接近线上工具调用场景；电商搜索/推荐 Agent 评估可借鉴，允许多条有效路径判断正确性，避免误判。
- 关注语言中介推理而非工具调用：论文发现失败集中在实体消歧、跨源 grounding，而非工具调用机制。电商 Agent 设计应重点优化实体链接和 schema 映射，例如显式注入商品 ID 映射、同义词表、类目别名，减少因命名不一致导致的调用失败。
- 策略约束下增加拒答机制：模型在不可回答查询上准确率低至 2.4%，暴露严重幻觉。在电商客服/推荐 Agent 中，应设置明确的不可回答或信息不足分支，结合置信度阈值触发拒答或转人工，避免错误工具调用造成业务风险。
- 固定 ReAct harness 隔离模型能力：团队在选型基础模型或评测生成式推荐能力时，可固定同一 Agent 框架，只替换底层 LLM，快速定位模型本身的问题，避免架构干扰。
信息丰度悖论：长上下文训练削弱参数化知识
🧭 长上下文训练中参数化与上下文化的权衡 ★ 深度解读
Johns Hopkins University
提出信息丰度悖论：训练上下文越丰富，模型越依赖上下文而非参数知识，导致长上下文训练并非中性增益
📌 工作参考价值（4 点）
- 在电商搜索/推荐中用 LLM 建模用户行为序列时，盲目拉长训练上下文可能让模型过度依赖近期上下文，削弱对长期兴趣的参数化表达；建议通过无上下文/冲突上下文测试评估模型鲁棒性，找到最优上下文窗口而非一律用最大长度。
- 微调推荐/Agent 模型时，若训练集中大量提供高质量候选上下文（如检索文档、相似商品），模型容易“上瘾”于上下文。可在微调时混合一定比例无上下文或含噪声上下文的样本，迫使模型同时保留参数知识。
- LoRA 适配器放置位置可以调节学习模式：希望模型更多依赖参数知识（如长期用户画像）则倾向于只更新 FFN 层；希望模型更好利用上下文（如对话历史）则更新 Attention 层。可根据业务需求选择模块化微调策略。
- 在 RAG 或长上下文生成式推荐中，性能可能随上下文长度呈倒 U 型；建议在验证集上搜索最优上下文长度，并监控模型在上下文缺失或误导时的衰减程度，避免部署后出现脆弱性。
选择性问答的渐近风险校准
🧭 LLM 不确定性校准与选择性拒答
Zhangjiang University · Ibaraki University
模型无关的事后校准框架，为LLM选择性问答提供渐近错误率控制，无需训练即可搭配任意不确定性估计器
📌 工作参考价值（4 点）
- 在电商客服、商品问答、搜索摘要等场景，当LLM输出需要保障准确率时，可借鉴A-CRC-QA的事后校准思路，在验证集上对不确定性分数进行单调化校准，获得满足目标错误率的动态拒答阈值，而不是拍脑袋固定阈值。
- 方法模型无关、无需训练，可与多种不确定性估计（如语义一致性、perplexity、self-consistency）结合，非常适合快速集成到现有LLM服务中，以最小成本提高输出可靠性。
- 对于推荐/搜索中的Agent决策（如自动生成推荐解释、选品理由），可应用类似风险控制，对Agent最终输出进行选择性过滤，降低向用户展示错误信息的概率，并量化控制风险。
- 注意方法针对渐近控制，工程上需积累足够校准集并定期更新阈值，以应对数据分布漂移。
语料特定的临床 RAG 系统在 HealthBench 上匹敌或超越新前沿 LLM
🧭 领域特定 RAG 系统评估
领域特定 RAG 通过定制语料在开放基准上与最新前沿 LLM 打平或领先，验证语料特异性对 grounding 的作用
📌 工作参考价值（4 点）
- 电商/客服领域 RAG 可借鉴「语料特异性」：把平台规则、商品政策、本地化约束、用户历史上下文等做成强约束检索源，能提升事实 grounding，不一定需要最大模型；具体做法是让检索 top-k 覆盖业务规则和场景化文档，并在 prompt 中显式要求优先依据检索证据回答。
- 评估模型和 judge 最好不共享家族/血缘，否则分数会系统性高估；可以用中立开源模型（如不同厂商模型）做第二评判，看结论是否稳健，尤其关注「准确性」「完整性」和「沟通分数」的分维度变化，避免只看总分。
- 当业务知识库足够垂直时，专用 RAG + 中等生成模型可对标甚至压过通用大模型，但会牺牲表达流畅度；产品上可以用 RAG 保证准确，再用后处理或改写模型补偿沟通体验。
- 消融「语料范围」是个高价值实验：把知识库从通用语料换成店铺/行业/活动强相关语料，观察同一 LLM 的准确率变化，即可量化语料特异性收益。
AVA-Encoder：迈向智能体原生视频表示学习
🧭 Agent 原生视频表示学习
Qwen Business Unit of Alibaba · ShanghaiTech University · The Hong Kong University of Science and Technology · Institute of Computing Technology · Southeast University
提出 AVA-Encoder，将视频编码为知识图谱并用文本梯度优化，提升智能体视频重建与编辑能力，较最强外部基线提高 20.7%
📌 工作参考价值（4 点）
- 知识图谱作为多模态内容统一表示：在电商/推荐场景中，可将商品视频、图片、描述组织为 KG，节点存结构化文本，资产层链接原始媒体，类型化边保留关系，便于 Agent 查询、编辑和生成推荐理由。
- 文本梯度优化可自动化 prompt 策略调优：将评估反馈转化为自然语言更新方向，对推荐/搜索 Agent 的系统提示进行伪训练，减少人工调 prompt 成本，并可在线细化。
- 分层策略优化：外循环数据无关伪训练与测试时数据相关优化分离，轻量级 inner loop 降低 token 消耗；适用于低延迟推荐 Agent 或在线广告文案生成。
- 建立可重建评测基准：强调保真度与可编辑性平衡，电商多模态理解可借鉴其评测方法，避免只优化表面指标。
持久递归世界实现自主软件演化
🧭 持久递归世界 · 多智能体协作
The Hong Kong Polytechnic University
提出以持久化项目而非持久化 Agent 为核心的递归多智能体框架，实现长程软件自动开发与演进
📌 工作参考价值（4 点）
- 把长期任务的“记忆”外置到项目版本/制品，而不是塞进单个 Agent 的上下文：电商选品、活动策划、自动调参等长时间运行 Agent 可让 worker 只持有局部上下文，验收后写回版本库，避免上下文膨胀与错误累积。
- 递归委派 + 按路径拆分：搜索词/文案/商品策略可按类目或子域递归拆解，子 Agent 只做局部变更，上层合并验收，便于并行和回滚。
- 验收驱动的版本推进：推荐/广告策略改动只允许通过离线评测或小流量验证的“后果”合入版本历史，形成可审计、可复现的实验资产。
- 成本敏感的长程任务可用廉价快速 LLM 跑大量 episode：本工作 120 小时/1000+ episodes 仅 44 美元，适合批量生成候选 query、商品卖点、广告文案等。
从结构和语义解耦混合序列的多兴趣搜索-推荐联合建模
🧭 联合搜索-推荐 · 多兴趣建模 ★ 深度解读
华中科技大学
提出从行为类型和查询语义两个视角提取多兴趣，解决搜索推荐混合序列中的兴趣耦合问题
📌 工作参考价值（4 点）
- 结构化兴趣分解可作为电商混合行为建模的通用插件：将用户行为按搜索、推荐及跨域转换拆分，分别用独立 self-attention + target attention 建模，再与候选商品交互，可解耦短期意图与长期偏好。实际落地时，搜索行为用 query+点击 item 均值，推荐行为用 item embedding，通过掩码注意力捕获跨域转换，成本可控。
- 查询语义聚类实现低成本语义多兴趣分割：对全量 query 做 K-Means，将混合序列按最大相似度分配到语义簇，再在每个簇内用 target attention 聚合。电商场景中 query 文本易得，该方法无需额外标签，且正交损失使簇更分散，可直接迁移至搜索/推荐双渠道行为序列的粗粒度兴趣划分。
- 对比学习对齐 query 与 item 表示可提升行为融合质量：以点击 item 为正例，采样负例做 InfoNCE 损失，让搜推两种行为的表示空间一致。在商品搜索推荐联合模型中，此对齐步骤十分关键，尤其对描述文本稀疏或 ID 语义弱的场景，可用类似 span 的方式减少模态鸿沟。
- PLE 多任务架构对搜推联合预测的平衡有效：引入共享专家与任务专属专家，通过门控网络加权，可缓解搜推任务间的负迁移。在电商多目标优化中，如果搜索和推荐共享底层用户表示，PLE 结构可直接替换 MLP 预测头，提升整体指标。
Dion3：Muon 优化器全栈正交更新加速
🧭 Muon 优化器全栈加速与分布式优化 ★ 深度解读
New York University · Princeton University · NVIDIA · Yale University · Microsoft Research
提出 Gram Newton-Schulz、对称 GEMM 核、分数行选择更新和 megabatching，将 Muon 优化器步时最多降低 6 倍且保持/提升模型质量
📌 工作参考价值（4 点）
- Gram Newton-Schulz 可作为标准 Newton-Schulz 的 drop-in 替换，在权重矩阵 aspect ratio 高（如 MLP/MoE 权重）时显著减少 FLOP，适合推荐/广告模型中常见的宽矩阵，无需改变训练流程。
- 分数行选择 + error feedback 是实用的加速技巧：每次只正交化动量矩阵中 ℓ1 范数最大的 f 行，学习率按 η/√f 缩放，在资源受限时可将优化器计算量降低约 1/f²，且不损害甚至轻微提升模型质量。
- Megabatching 策略对 FSDP 下的通信优化很有价值：按矩阵形状分组做 all-to-all，减少通信轮次至 O(1)，在中小模型通信瓶颈场景（如 1B 模型 8 卡）可降低 35% 优化器步时，值得工程实现借鉴。
- 自定义对称 GEMM 核（CuteDSL）利用对称性只计算下三角并复制到上三角，在 Hopper/Blackwell 上获得近 2× 速度，适合集成到训练框架中以加速大量对称矩阵乘法。
规格优先：AI编码Agent无人工审查拆除核心架构不变量案例（189文件/71.7万行）
🧭 AI 编码 Agent 规格化重构
AI Sovereign Labs, Paris, France
规格优先协议让AI编码Agent在无人工审查和测试oracle下成功重构71.7万行代码，31轮审计收敛201缺陷
📌 工作参考价值（4 点）
- 规格优先协议：让 Agent 先写正式规格并反复对照源码审计，可迁移到用 Agent 生成推荐系统特征/模型代码时，先规格化业务不变量（如流式生成生命周期、面板状态机），降低幻觉与遗漏。
- 审计收敛判据：要求连续两次验证审计零发现才认定完成，避免单次通过假阴性；可用于 Agent 生成的推荐服务代码或配置的验证循环（如参数搜索空间、离线评估脚本）。
- 原子实现与编译/测试反馈循环：把大改动拆小，冻结规格后再审计；在推荐系统中用 Agent 重构特征管道或在线服务时，可借鉴“编译测试反馈 + 规格冻结再审计”流程，减少人工 review 负担。
- 成本与耗时参考：三天、2430美元完成无 oracle 的跨文件架构级重构，适合用于长期欠维护的推荐系统模块解耦，但需注意该案例无人工执行前实际运行验证，仍需谨慎评估风险。