GRACE：通过适配器组合与证据感知校准实现教育视觉问答的接地推理
🧭 多模态VQA · 参数高效适配
Columbia University · Carnegie Mellon University · University of California, Berkeley · Stevens Institute of Technology · Georgetown University
GRACE利用题目教学状态路由轻量语言与视觉适配器并做证据感知选项校准，在ScienceQA上将准确率从90.5%提升至93.1%
📌 工作参考价值（4 点）
- 将结构化业务状态（如类目、场景、用户意图、选项/候选结构）作为路由信号，组合不同因子专属的轻量 adapter 或 prompt，可在不微调大模型的前提下实现多场景/多任务适配，类似推荐系统中的多场景专家路由。
- 证据感知选项校准：在共享上下文中对所有候选联合打分并校准，可借鉴到电商搜索/推荐的精排阶段，尤其适合语义相近的候选（如相似商品标题/广告文案）的去混淆排序。
- 冻结多模态 LLM，仅训练轻量视觉/语言 adapter，降低多模态业务（商品图+文本描述）接入大模型的训练成本，便于快速迭代。
- 消融实验说明结构化状态、跨模态证据和选项校准各自贡献约为1-1.5个点，提示在多模态推荐/搜索中应同等重视元数据路由信号与候选间联合校准。
Harness 持续学习：冻结模型下 Agent 外部状态的持续进化
🧭 Agent 持续学习 · Harness 进化 ★ 深度解读
State Key Laboratory for Novel Software Technology, Nanjing University, China · University of Wollongong, Australia
将持续学习对象从模型参数转向 Agent 外部 harness，通过 guarded evolution 显式控制 harness-level 遗忘
📌 工作参考价值（1 点）
- 在 Agent 系统中引入 guarded evolution：将 harness 更新（prompt、memory、routing 等）与部署分离，设置历史锚点集（anchor set）作为回归测试，只有通过当前改进、历史保留和有效性检查的新配置才上线，避免线上行为退化。\n- 借鉴四组件设计：Task Interface, Experience Memory, Capability Map, Adaptive Router 可以映射到电商/搜索推荐系统的 Agent 编排层，把用户意图解析、历史交互记忆、可用工具/策略注册、决策路由分开管理，便于持续迭代和故障定位。\n- 通过调节 historical-loss tolerance Bn 控制稳定性-可塑性权衡：在大促等需要快速适应新玩法时放宽 Bn，在稳定期收紧，实现业务节奏的灵活控制，而不是一味追求最新任务的最优。\n- 利用 LLM 从原始交互中总结抽象记忆、再提炼为可复用内部技能（inner skills），可迁移到自动从用户反馈中提炼推荐策略、生成推送文案或 query 推荐模板，形成持续进化的策略库。
HARP：面向查询的CVE优先级分层自适应排序与偏好融合框架
🧭 偏好自适应排序 · LLM 排序器
University of Virginia · NEC Laboratories America
利用历史标注样本隐式捕捉组织偏好，通过图证据与多视图LLM融合对CVE进行查询驱动排序
📌 工作参考价值（4 点）
- 隐式偏好建模：真实业务中用户/组织的偏好难以用文字 prompt 完整表达，但历史行为、已标注样本是现成的偏好信号。可借鉴 HARP 的做法：用 support bank 做 few-shot 检索注入，而不是费力写偏好描述。
- 多视图打分 + 可学习融合权重：将排序信号拆成 global / segment / individual 等多视图，并在推理时用少量支撑样本动态拟合融合权重。这套机制可以直接迁移到电商搜索或推荐的多目标融合（GMV、CTR、转化率、多样性），避免固定加权带来的偏好漂移。
- 图证据检索增强 LLM 排序：对候选 item 先从知识图谱取关系、属性等结构化证据，再喂给 LLM，可显著提升可解释性和排序稳定性。在商品、内容、广告候选上可以构建 domain KG（类目、品牌、用户行为关系）做类似增强。
- Query-conditioned ranking 框架：用自然语言查询作为排序条件，结合候选特征进行 LLM 打分，适合搜索广告、个性化推送等场景，尤其当查询意图需要与历史交互偏好一起建模时。
黑盒大语言模型的改进置信度估计
🧭 LLM 不确定性量化与部署安全
Layer 6 AI · TD Insurance
利用评估数据集训练简单分类器，以现有 UQ 分数和相似查询正确性为特征，提升黑盒 LLM 置信度估计。
📌 工作参考价值（3 点）
- 在电商搜索/推荐的 LLM 应用（如 query 改写、商品卖点生成、客服自动回复）中，可在部署前利用积累的标注反馈数据（正确/错误）训练一个轻量置信度分类器，将现有 UQ 分数（如 verbalized confidence、语义熵）作为输入特征，低成本实现自动审核与风险拦截。
- 相似查询的正确性作为特征，可通过 kNN 在已有标注数据中快速检索得到，适合线上实时服务；不依赖模型内部 logits 或白盒访问，可直接用于 OpenAI、Claude 等黑盒 API。
- 结论：不要只依赖单一零样本 UQ 分数，利用少量标注数据做特征融合能稳定提升置信度区分能力，适合作为 Agent 系统中 LLM 输出的 guardrail。
开放域生成中测试时扩展：瓶颈在利用而非探索
🧭 LLM 测试时扩展 · 开放域生成评估 ★ 深度解读
Thomson Reuters
五种TTS计算归一化对比：候选池不缺好答案，奖励模型相关性≈0.12，Fusion最佳仅捕获40% headroom
📌 工作参考价值（4 点）
- 在电商/广告文案、商品标题、Agent 回复等开放域生成中，上线 Best-of-N + reward model 选优前，先在小样本测 RM 分数与真实质量的 Spearman ρv；若低（如<0.2），额外采样基本是浪费，应直接放弃 RM 选择。
- 优先把候选池做生成式合成（Fusion）而不是打分选优：同一候选池下，Fusion 的 headroom capture 约 40%，明显高于 BoN 的约 15%，且不依赖外部 verifier，适合商品文案/卖点融合。
- 不要把 PRM 引导的树搜索用于开放域文本生成；错误 PRM 会指数型剪掉好分支，导致多样性崩溃，并行采样更稳。
- 迭代 refine 的收益要警惕长度偏置：写作/文案类 benchmark 的提升可能与“写得更长”混淆，迁移到广告或商品描述时用长度匹配评估，并监控 length-score 相关。
量化ASR模型中的基准优化行为
🧭 基准过拟合评估 · 行为探针
Hume AI Research
用三类行为探针发现高分开源ASR模型在音频欠定时仍输出基准参考文本，可通过低秩引导操控
📌 工作参考价值（4 点）
- 在搜索推荐场景中，公开评测集同样存在被离线指标过拟合的风险。可直接借鉴其三类探针思路：构造用户意图/行为欠定的样本（如历史稀疏、上下文矛盾、文本模糊），检查模型是否偏向输出头部商品、高频query或模板文案，而不是忠实于可用信号
- 用机制探针验证模型是否依赖窄特征（如位置、曝光次数、特定品牌词）来提升离线指标，若存在可通过低秩线性引导（类似activation steering）或对输入追加简单信号进行因果操纵，说明模型学到的是捷径而非可泛化能力
- 对LLM Agent或生成式推荐做上线前评估时，加入参考不一致、掩码关键信息、拼写/表述切换等对抗性探针，量化模型在信息不确定时是否“背答案”，可作为离线A/B前的诊断关卡
- 结论提醒：WER/AUC等指标提升可能来自对特定评测分布的条件化行为，而非真实能力提升。业务迭代中应定期注入分布外或反事实测试集，防止基准优化误导模型选型
聆听向前：下一 Patch 嵌入预测实现可扩展音频学习器
🧭 自监督音频表征 · 下一 patch 预测
Imperial College London · University of Surrey
用因果 Transformer 预测下一 patch embedding，极简自监督在音频任务达到 SOTA
📌 工作参考价值（4 点）
- 用户行为序列预训练可借鉴 NAPE 的「下一 embedding 预测」：将行为序列切块后，用因果 Transformer 预测下一步用户/item embedding，配合 stop-gradient 避免表征坍塌，无需构建离散 Semantic ID 或重建 item 特征，大幅降低工程复杂度。
- 现有推荐 SSL 常依赖对比学习+掩码重建+teacher-student 等多重目标，NAPE 证明仅自回归前向预测 + stop-gradient 即可学出强表征，可作为轻量预训练 baseline，减少超参调优和训练成本。
- 因果掩码天然适配流式增量训练，适合电商/广告的实时序列建模；同时自回归预测下一 embedding 可直接作为在线学习辅助任务，无需等待完整序列即可更新表征。
- log-mel patch 切分思路可迁移到商品多模态序列（如短视频帧、商品描述片段），统一用预测下一 patch embedding 做跨模态预训练，简化多模态对齐流程。
MemTrapBench：评测 LLM 记忆使用中的认知陷阱
🧭 LLM 记忆认知陷阱评测与缓解
Zhejiang University · National University of Singapore · Northeastern University · Heriot-Watt University · Tencent
提出 MemTrapBench 评测记忆导致的推理固化与信念扭曲，发现所有记忆策略均不及无记忆，并提出 AdaptiveMem 推理时缓解
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 的多轮记忆系统中，不要只评估记忆检索命中率，还要评测注入记忆后下游任务性能是否下降；可借鉴 MemTrapBench 的「无记忆 vs 有记忆」对照实验，建立内部回归测试集。
- 历史记忆可能把模型推理带偏：例如用户历史偏好固化导致推荐多样性下降、旧兴趣覆盖当前会话意图；可参考 Reasoning Fixation 和 Belief Distortion 两种陷阱分类，针对性设计监测指标。
- AdaptiveMem 的推理时元指令成本低，可直接在现有 RAG/记忆流水线上试加：「避免被检索到的历史记忆过度影响当前问题的判断」「优先依据当前用户会话信号」等 guardrail，作为轻量缓解手段。
- 对搜索推荐中的 query 改写/兴趣推理模块，可定期注入带干扰记忆的测试样本，检查模型是否被语义相关但误导性的历史信息带偏，提前发现认知陷阱风险。
面向Cessna 172维修手册的多模态RAG降低技师检索负担
🧭 多模态RAG垂直领域知识检索
Purdue University · Clemson University
开发多模态手册检索器与MRAG流程，在维修手册上实现93.37% recall@5和87.20%答案语义相似度
📌 工作参考价值（4 点）
- 电商/推荐场景可迁移：将商品文档、规格表、示意图做多模态RAG，让客服或导购Agent同时检索图文页面，而不是只依赖文本切片，提高复杂产品问答质量。
- 评估方法可直接复用：用合成查询按信息类型（程序、图示、警告/安全、规格）分层构造测试集，能更细粒度定位检索瓶颈，比单一整体指标更利于迭代。
- 工程实现参考：把检索和生成拆开分别评估 recall@5 和生成相似度，便于定位问题是出现在召回还是生成；同时记录单查询耗时和成本，作为上线前可行性门槛。
- 多模态可解释性可借鉴：用热力图可视化页面上哪些区域被检索模型关注，可用于排查错误召回、做人工审核，也便于向业务方解释模型为何推荐某张图或某个手册页。
OneModel：平台级多场景排序的统一基础模型
🧭 多场景统一排序 · 长序列用户建模 ★ 深度解读
Xiaohongshu
用共享事件序列与场景感知门控统一推荐、广告、商家排序，平衡跨场景迁移与专用化并大幅降低在线延迟
📌 工作参考价值（4 点）
- 跨场景统一事件序列：把不同业务（推荐/广告/商家）的行为映射成统一的 event token，用 scenario-specific projector + 结构上下文（scenario/action/Δt/pos），可直接复用于多业务共享排序模型，减少重复建模和用户表征碎片化。
- SAIM 门控：在 FFN 中用 scenario id 生成 gate 对通道做调制，保持共享计算图却给各业务留下自适应空间；比完全分塔省资源，比硬共享抗负迁移。
- 工程部署：用户塔增量缓存 + 请求期 candidate 打分分离、用户特征预取、图级推理优化，将 latency 从 270ms 降至 90ms；在电商/广告多场景排序里做统一模型时可参考这套 serving 拆分。
- 训练稳定 trick：跨流采样避免高频业务主导、warm-up 梯度隔离、按各流验证 AUC 反比加权 loss、选择性 backprop；多目标多业务联合训练时能有效抑制负迁移。
Open-MOPD：诊断并修复多教师在线蒸馏中的能力失衡
🧭 多教师在线蒸馏 · 优化预算平衡 ★ 深度解读
SIA-Lab of Tsinghua AIR and ByteDance Seed · Institute for AI Industry Research (AIR), Tsinghua University · Department of Computer Science and Technology, Tsinghua University
提出 token-share balancing、gap-aware 分配与 reward refresh 三种机制，将多教师在线蒸馏能力集成恢复率从 35.6% 提升到 83.4%
📌 工作参考价值（4 点）
- 多任务/多领域训练时不要只看 prompt/sample 比例，要统计 token-level 梯度贡献。短输出任务（如 query 推荐、push 文案）即使 prompt 占比合理，梯度 token 占比可能极低（论文中 IF 占 20.3% prompt 但仅 0.99% 梯度 token）。可借鉴 token-share balancing，按目标 token share 加权 loss，避免单纯过采样挤压长序列任务的 prompt 多样性。
- 动态预算分配：在多目标 RL 或蒸馏中，根据每个 domain 当前 teacher-student gap（或 reward magnitude）动态调整 loss weight，优先分配给 gap 大的任务，并对权重做 clip 防止正反馈发散。推荐系统多任务（CTR/CVR/时长）可监控各任务 reward 幅度变化，设计类似 gap-following allocation 的机制，避免训练后期预算被已收敛任务吸走。
- reward refresh 在 rollout 复用 + 多步 inner update 的工程设置下，用当前策略重算 student-dependent 项（如 log-prob），缓存 teacher 输出，几乎无额外开销，可减少 off-policy 陈旧性。适合大规模 RL/蒸馏 pipeline，特别是对 latency 敏感的多智能体/多能力整合训练。
- 进行多专家能力合并前，先构建 oracle routing 测试床隔离路由误差，量化每个 domain 的 recovered headroom，定位训练中最早停滞、恢复率最低的任务，再有针对性地调整优化预算。
PILOT：面向在线树实验的主动洞察学习智能体技术报告
🧭 Agent 多角色实验优化 · 决策树个性化 ★ 深度解读
Taobao
PILOT 用三角色 LLM 智能体将推荐实验从被动调参升级为主动假设检验与人群级决策树个性化，搜索效率提升 40pp
📌 工作参考价值（4 点）
- 给实验平台加“守卫层”：在真实推荐系统上做 Agent 自主实验，先实现确定性 Action Enumerator + Manager Guard + State Committer；LLM 只从合法候选里选，状态写入和统计判断都不经过 LLM，能显著降低越权和误用风险。
- 用 PolicyTree 做人群级策略个性化：把策略打成 bundle，用 split/prune/hashSplit/updateStrategy 作为原子动作；先做特征质量预筛和 hashSplit 小流量探测，再进入全桶 A/B 验证。适合猜你喜欢、会员分层、广告人群包等配置迭代。
- 记忆分成“策略证据”和“方法论”两层：策略效果只记录成 bundle 对比，并标注因果/诊断证据角色；单次实验只产生 draft，跨任务一致才升 supported/approved。可避免把一次 lucky run 当成全局经验，减少 LLM 幻觉决策。
- 强制“假设先行”的 planner proposal：每个候选必须带可证伪假设、拒绝条件、证据引用和结果后的下一步计划，否则不分配流量；这比事后总结轨迹更可控，适合把实验参数搜索交给 LLM 时的工程约束。
评估前沿 AI：精度而非能力，输出一致性才是分水岭
🧭 LLM 系统评估 · 输出一致性
Independent researcher, London, United Kingdom
提出用重复请求的输出一致性（precision）而非基准能力作为前沿模型区分指标，并给出测量框架与决策方法
📌 工作参考价值（4 点）
- 在电商/推荐/Agent 系统中增加重复一致性评估：对关键任务（query 改写、推荐理由生成、商品标题生成、Agent 决策）固定 temperature 多次采样同一输入，用确定性规则或文本相似度计算一致率，监控输出漂移，避免只看平均指标。
- 区分两类失败指导调优：一致失败（集中偏离）说明是系统性 bias，可以通过规则/后处理/提示词修正；分散失败（高方差）说明模型或采样策略本身不可靠，需要换模型、降低 temperature 或加入约束解码。
- 低成本的 harness 设计：复用现有多轮测试集，针对每个任务重复 N 次，用确定性评分（无需 model-in-loop grader），能快速定位哪类任务不稳定，适合接入 CI/CD 作为回归门禁。
- 人机协作监控：跟踪 Agent 与人类配合过程中的输出 grouping 随时间变化，作为可靠性 KPI，累计信号帮助发现模型退化、策略失效或环境漂移。
PolicyGuide：从守卫单一动作到引导整个工作流的政策合规 LLM 代理
🧭 Agent 工作流引导与政策合规 ★ 深度解读
KAIST · DeepAuto.ai
将领域政策编译为工作流图，用外部持久化验证器在用户轮次边界引导代理完成合规步骤，平均 PASS4 提升 20 个点
📌 工作参考价值（4 点）
- 将客服/订单/退款等政策流程离线编译为图结构，明确节点条件与转移，便于代码持久化状态和验证器遍历；避免仅依赖最终动作检查，可迁移到电商 Agent 的合规流程。
- 在用户轮次边界触发验证器，而非每个动作，平衡覆盖与成本；用一次性门控拦截未授权变异调用，防止死锁，适合高并发客服场景。
- 外部验证器 + 代码管理状态与代理解耦，可以复用同一工作流图跨多个 LLM 代理（如 GPT/Claude/Gemini），降低模型迁移成本。
- 对抗用户/社会工程攻击下，要求关键事实必须由工具结果支撑，而非用户陈述，可借鉴到电商恶意退款、价格操纵防护。
rEDMRec：将 LLM 推理蒸馏为可编辑经验记忆用于推荐
🧭 LLM 推理蒸馏 · 可编辑记忆推荐 ★ 深度解读
University of Science, Ho Chi Minh City, Vietnam · Vietnam National University, Ho Chi Minh City, Vietnam
把教师 LLM 的推荐推理压缩为四通道可编辑经验记忆，冻结学生 LLM 检索排序，解耦推理成本与在线开销
📌 工作参考价值（4 点）
- 借鉴四通道经验库：把用户长期偏好、短期会话兴趣、商品级感知、硬负样本反事实对比分开存储和检索，而不是把全部 history 塞进 prompt；电商推荐中可分别用向量库存 lt/st/ip，用 hybrid graph-vector 存 cf，支持按 user_id / item 过滤。
- 借鉴在线/离线解耦：大模型只做离线知识抽取与记忆写入，线上用冻结的 3B-20B 小模型做纯检索式排序；适合控制在线延迟的广告/推荐场景，新交互只触发记忆 edit，不触发重训或大模型调用。
- 借鉴 Add/Delete/Modify/Keep 记忆控制器 + 多智能体 debate 优化：用排名奖励向量（HR@1、HR@k、MRR、DCG 折扣）驱动 critic/arbiter 修改记忆条目，不梯度更新模型；重复率是前导指标，建议 debate agent 数 k=4 为性价比拐点。
- 注意容量依赖：强学生可能反而被冗余/泛化条目干扰，短时上下文通道最稳定；在采用大模型排序时，可按学生能力选择性启用长期/商品感知/反事实通道，或控制 bank 规模减少重复。