应用手册任务：揭示语言模型长程程序推理的缺陷
🧭 长程程序推理评测
Manulife
构建 TAM 基准，用两类真实手册任务评估 GPT-5，发现精确匹配仅 1% 和 15.5%
📌 工作参考价值（4 点）
- 业务中高度规则化、需要跨文档查询的任务（广告政策、促销/优惠券规则、售后条款）不要直接交给 GPT-5 端到端生成最终判定；应拆成可校验的子步骤，每步做精确匹配或规则引擎兜底，LLM 只做信息抽取/语义匹配。
- RAG 和 ReAct 在长程手册任务上没解决根本问题，说明长文档检索准确率是瓶颈；可先做语义切分、section-level 索引、规则预先结构化（如将条款转成可执行 DSL/知识图谱），把“翻手册”转化为确定性查表。
- 建立内部评测时，用逐条人工验证的 exact-match 指标，不要只看模型输出“像不像”；TAM 的构建方法可复制到自己的业务手册/政策库上，先测 GPT-5 类模型的基线。
- Agent harness 可能因循环步骤长而累积错误，建议设置中间状态校验点、限制 ReAct 步数，并把高置信度规则提前缓存到上下文。
重新思考面向子二次注意力的异构系统解聚
🧭 LLM 推理 · 子二次注意力异构解聚
Harvard University · NVIDIA
提出按二次/子二次注意力拆分 decode 的细粒度异构解聚方案，显著提升子二次注意力 LLM 的吞吐与能效
📌 工作参考价值（4 点）
- 若业务中采用线性/稀疏/滑动窗口等子二次注意力 LLM 做在线推理（如 query 理解、生成式推荐、Agent 工具调用），可将 KV 检索类算子（如 top-k 选择）部署在 DRAM 带宽大的 LPX 类设备，将静态内存的注意力+FFN 部署在 SRAM 算力设备，降低跨设备通信并提升 tokens/J。
- 稀疏注意力 decode 可拆成两阶段：top-k 选择需要扫描全量 KV，但计算轻；top-k 注意力+FFN 内存占用固定。这一特性可指导推理系统的流水线设计，避免将 KV 索引放在算力型 GPU 上造成内存瓶颈。
- 系统解聚不应按 attention/FFN 操作类型，而应按算数强度与内存占用拆分；对于混合注意力架构（部分层 dense，部分层子二次），可把 dense 层放在 GPU、子二次层放在低功耗设备，实现能耗与延迟的更好折中。
- 论文主要是底层系统优化，与推荐/广告算法逻辑无直接关系，可借鉴点主要在工程部署和硬件选型。
AI编码者如何讨论、分歧并达成共识：基于LLM的定性编码挑战与机遇
🧭 多智能体LLM协作定性编码机制
Stanford University
多智能体LLM定性编码中，独立编码、辩论与协调流程的有效性受编码簿长度、数据相似性和代理分歧影响
📌 工作参考价值（4 点）
- 多智能体辩论机制可迁移至电商场景中的商品属性标注、用户评论意图分类、广告标签体系构建等定性判断任务：采用“独立编码→辩论→协调分歧”流程，且不必强制要求达成一致，未解决的激烈辩论往往意味着更高质量的分析结果。
- 设计Agent协作时需显式建模上下文状态：论文发现LLM缺乏对讨论上下文的适应性响应，因此在多轮Agent交互中应引入记忆模块或动态调节策略，避免固定轮次和静态提示词。
- 编码簿长度（相当于Prompt/标签体系复杂度）显著影响准确率，建议在业务落地时先对标签粒度做消融实验，找到准确率与标注成本之间的平衡点。
- 论文开源了AI讨论数据集和评估框架，可直接用于评测自家多Agent系统在标注、审核、分类等任务上的可靠性，省去从头搭建评估环境的工作。
COBRA-Skills：上下文赌博机引导的智能体技能优化
🧭 Agent 技能优化 · Contextual Bandit ★ 深度解读
The Chinese University of Hong Kong, Shenzhen · Tianjin University · The Hong Kong University of Science and Technology (Guangzhou) · National University of Singapore
用语义 embedding + 神经预测器 + LinearUCB 选择性评估候选技能，结合证据驱动的进化算子，在六个基准上平均提升 13–27 个点且成本降 55%+
📌 工作参考价值（4 点）
- 在 prompt / skill / workflow 优化场景中，用语义 embedding + 轻量神经预测器 + LinearUCB 对候选策略打分，每轮只执行最高 UCB 分数的候选，可大幅降低真实评估成本；适合线上 A/B 或仿真评估昂贵的场景。
- 进化算子可迁移到业务策略迭代：regeneration 从无策略轨迹产生多样性新解，rollout mutation 用当前策略的成败轨迹做局部修订，crossover 用强策略做 backbone、弱策略做负例重组；可用于 query 生成策略、Agent 工具调用策略、广告文案生成的自动优化。
- 定期（对数间隔）更新候选 population 而非每轮更新，且只保留高 UCB 候选、淘汰低优先级候选，能显著减少 LLM 调用次数；仅用 50 个优化样本即可达到强效果，说明小样本 + 有效探索可替代大规模优化池，适合业务中少量标注或仿真轨迹的快速迭代。
- 技能跨模型迁移性强（34/36 正向），说明优化出的技能捕获任务级策略而非绑定特定模型；业务中可为多个模型复用同一套优化好的技能或 prompt 库。
从参数到答案：LLM 如何检索并使用其内部知识
🧭 LLM 内部知识检索机制与可解释性
University of Science and Technology of China · Singapore Management University · The University of Tokyo · The Chinese University of Hong Kong
通过层间干预分离LLM问答中的请求路由信息与目标知识依赖，揭示层间交接模式并跨模型比较
📌 工作参考价值（4 点）
- 层间干预方法可迁移到生成式推荐/商品文案场景：在 LLM 的 hidden states 上分别拟合『请求方向』和『内容知识』probe，定位模型哪几层完成用户意图路由、哪几层提取事实性知识，帮助诊断 query 理解偏差或事实错误。
- 跨模型实验表明路由-内容交接模式并不统一（如 Llama 无持续路由效应窗口），因此在多模型集成、蒸馏或对隐藏状态做干预时，不能假设同一中间层都适合注入知识或引导；需要按模型分别标定有效窗口。
- 对 RAG/Agent 检索增强推荐有借鉴：论文显示问题结束时已存在可读的路由和内容表示，后续层才发生交接，可在路由已稳定但内容依赖尚在形成的层注入检索到的商品知识或候选，减少外部知识与内部参数知识的冲突。
- 局限：主要是机制解释性贡献，业务收益需要自行验证，但可作为 LLM4Rec 内部行为分析和故障定位工具。
当智能体出现分歧：贝叶斯反向推理作为无标签多智能体集体决策锚点
🧭 多智能体决策聚合与校准
The University of Melbourne · Sri Lanka Institute of Information Technology
用贝叶斯反向推理构造reverse posterior，以Jensen-Shannon散度衡量跨路径一致性，提升多智能体决策聚合性能
📌 工作参考价值（4 点）
- 多智能体集成决策（如商品标签审核、广告文案质量打分、query意图分类）不要只对正向logits投票；可以额外让同一个LLM反向推理“给定该标签，证据出现的概率”，用两个方向分布的JS散度识别可靠agent，避开共享错误。
- 在agent分歧大的样本上，log-linear融合（LogLin）比简单投票/加权更稳；若业务中有多路召回/多模型打分分歧严重，可用跨路径一致性作为融合权重，优先相信正反推理一致的模型。
- 无标签场景下，反向推理可作为廉价校准信号；若积累少量标注数据，两阶段校准reverse anchor能进一步提升聚合，适合冷启动或低资源标注的电商场景。
- 反向推理模型单独精度可能不高，但作为互补信号价值大于正向基线；架构上可保留轻量反向头或prompt模板，避免额外大模型训练。
Ecdysis：高效训练LLM Agent运行时harness的失败诊断驱动框架
🧭 Agent 运行时自进化 · 失败归因 ★ 深度解读
Chengdu Institute of Computer Applications, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Beijing Institute of Technology · Beijing University of Technology · Yangtze Delta Region Institute of Tsinghua University, Zhejiang
跨任务失败聚合与多角色协作诊断，区分模型适配与系统缺陷，实现训练加速与泛化提升
📌 工作参考价值（4 点）
- 在搜索/推荐 Agent 的 workflow 优化中，不要针对单条失败 case 直接改 prompt 或工具逻辑；先批量收集失败轨迹，按“失败模式”跨任务分组，只对重复出现的模式做系统级修改，能显著减少过拟合和重复修改成本。
- 把“诊断”与“实施”分离：用 Analyst/Critic/Engineer/Moderator 多角色写结构化修改规范，再交给 coding agent 改代码。这相当于在修改工作流前加一道评审，能降低无效修改，提升输入 cache 命中率（论文从 89% 升到 96%）。
- 用诊断价值选训练样本：优先选暴露新交互路径和未知失败机制的任务，而不是全量随机；论文中仅用 1/4 训练失败样本就接近全量效果，可用于电商/广告 bad case 分析的降本。
- 监控 model-accommodation ratio：统计修改中有多少是在迁就当前 LLM 的怪癖；若过高，该 workflow/工具链很可能只对当前模型有效，换模型会退化。可把这个指标纳入 Agent 上线前的回归检查。
FedHUR：学习层次化效用引导的客户端关系用于个性化联邦推荐
🧭 联邦推荐 · 个性化聚合
Fudan University · Microsoft Research Asia · Independent
提出层次化效用引导的客户端关系学习框架，以 item-item filters 为聚合对象，提升联邦推荐个性化聚合效果
📌 工作参考价值（4 点）
- 在电商推荐场景中联邦学习保护用户隐私，但跨客户端聚合时不应依赖单一全局相似度；可借鉴 FedHUR 思路，按类目/品牌/价格带等构建层次化用户关系，在不同粒度上分别聚合，缓解数据稀疏和兴趣差异问题。
- 效用信号机制值得直接移植：让每个客户端先评估其他客户端信息对自己预测的增益，只聚合“有用”的客户端，避免引入噪声；这类似推荐系统中的增益筛选，可显著提升本地模型在长尾用户上的表现。
- 以 item-item filters（如物品共现矩阵或物品向量）作为交换和聚合对象，比直接交换模型参数更轻量、可解释，适合部署在边缘设备或对通信开销敏感的场景；电商中可用商品 embedding 的 item-item 关系替代原始梯度。
- 全局层次聚类信息可以作为先验知识下发到客户端，再在客户端上进行个性化检索和聚合，这种“全局先验+本地效用”的架构可直接应用于大规模推荐模型的分布式微调或联邦增量训练。
负向自蒸馏：通过规避推理缺陷学习推理
🧭 LLM 负向自蒸馏与推理增强 ★ 深度解读
University of Virginia · Stanford University
用模型自生成负向条件并做门控 unlikelihood，无需标签即可稳定提升 LLM 数学推理，同时保留反思能力
📌 工作参考价值（4 点）
- 负向条件生成替代稀缺正反馈：在搜索 query 补全、广告文案、商品标题生成中，很难获得 ground-truth。可以让同一个 LLM 扮演“低转化/不相关/粗心生成器”作为 negative teacher，对真实生成做对比训练，在无标注预算下避开坏模式。
- 动态 token 门控值得复用：对比负向 condition 与中性 reference 在每个生成 token 上的概率，只惩罚对负向注入敏感的关键 token（如 query 中的类目词、价格带、促销词），避免对停用词和语法 token 施加损失导致文案流畅性崩塌。工程上只需要额外一次并行前向，标量实现。
- Sigmoid bounded unlikelihood 可作为稳定化 trick：替换原始 -log(1-p) unlikelihood，能自动抑制高置信语法 token 的梯度，防止推荐解释/文案生成模型在微调后期崩溃；可低成本加到 DPO/GRPO 式损失中。
- 效率经验：单 rollout + 共享权重的 reference/negative teacher 并行 prefill + 标量 token 损失，比 GRPO(n=8) 和 OPSD(top-k logit 对齐) 更省时；如果采样是瓶颈，可以先用离线噪声负条件（如 wiki-irr）把每步训练从 68s 降到 54s，性能基本不降。
根因归因是一个搜索问题：面向长时程 Agent 失败的持续搜索
🧭 Agent 失败根因归因与持续搜索
Scale AI
提出 Continual Search 迭代框架，通过多轮唤醒 LLM 法官持续搜索未解决证据，显著提升长轨迹 Agent 失败根因归因 F1
📌 工作参考价值（4 点）
- 诊断长流程 Agent/推荐链路失败时，不要依赖一次性 LLM 判断；把 RCA 改造成多轮搜索，每轮强制模型找出“尚未解释的证据”，直到证据链闭环。
- 与其堆大模型，不如把搜索过程做扎实：论文显示同模型家族内低阶模型配合 Continual Search 可反超高阶模型，成本可控且效果更好。
- 业务上可用于电商 Agent 执行日志、广告投放链路、搜索推荐多阶段 pipeline 的故障归因：失败信号通常稀疏且跨步骤，需要主动回溯而不是只看最后一步。
- 建议构建类似 MegaRCA-Mix 的长时程、执行密集型测试集，用真实人工标注的失败 trial 评估诊断能力，避免只测短轨迹造成虚假达标。
基准雷达：AI 基准与评估的活数据库和搜索引擎
🧭 AI 评测基准检索与发现系统
Earth-Space-AI · Tacite AI · Hangzhou Dianzi University · Carnegie Mellon University · Xi’an Jiaotong University
构建持续更新的 AI 评测基准数据库与搜索引擎，支持基准发现、证据溯源和分数历史检索
📌 工作参考价值（4 点）
- 借鉴其“living catalog + daily feeds”模式，建立内部评测基准库，自动追踪业界新 benchmark 和 SOTA 分数，避免手动搜集，尤其适合跟踪 LLM-based 推荐/Agent 工具评测。
- 在内部模型对比时，不只盯 leaderboard 总分；参照其保留 source identity 和 score history 的做法，溯源每个分数的模型版本、prompt、数据集版本，避免评估不可比或作弊。
- 用 Pareto frontier 和 adoption 趋势做选型：在采用新评测基准前，查看其被引用/使用频率与分数分布，避开 saturated 或低采纳的 benchmark，减少无效评估。
- 如果搭建 Agent 评测体系，可参考其多源发现（paper、repo、dataset、release）的设计，将评测集、代码和论文绑定管理，提高可复现性。
简单注意力稀疏化：端到端优化上下文排序
🧭 LLM 注意力稀疏化 · 端到端排序
Tencent HY LLM Frontier · Hong Kong University of Science and Technology (Guangzhou) · Hong Kong University of Science and Technology
用连续 selector 分数以 log 形式注入 attention softmax，端到端优化上下文排序，紧预算下大幅超过可训练稀疏注意力基线
📌 工作参考价值（4 点）
- 需为长上下文/Agent 记忆做注意力稀疏化时，不要蒸馏 dense attention：把可训练 selector 的连续分数以 log 形式塞进 attention softmax，用最终 LM loss 端到端更新，排序会更对齐固定预算下的下游效果；推理阶段仍可硬 Top-K。
- 在流式/历史 context 场景（如用户长期行为序列、会话历史）保留 current block 并用 normalized softmax gate 校准历史窗口，可避免新 block 被旧 context 淹没，适合电商推荐/广告文案生成里的长 prompt 组织。
- 训练阶段保留连续 selector score 而非 hard selection，让模型学相对优先级；上线做硬稀疏时可显著提升紧预算下的性能，降低推理 KV cache/attention 成本。
- 开源的 Triton/FlashAttention 融合 kernel 可作为长上下文稀疏训练底座，直接复用到商品描述、用户会话等长文本微调。
可解释性助手：用于解读能耗模型的对话式XAI接口
🧭 对话式XAI · LLM Function Calling
Nupp Software · Institute of Computer Science, University of Tartu · Apintech Ltd, POLIS-21 Group · Department of Mechanical Engineering, Hellenic Mediterranean University
用LLM function calling替代自定义语法，实现94%意图解析准确率的对话式可解释AI系统
📌 工作参考价值（4 点）
- 用 LLM function calling 替代 custom grammar / 意图分类器做 NLU，意图解析准确率从 76.8% 提到 94%；在做推荐系统诊断、模型解释、运维助手的对话式 Agent 时可直接复用，避免为每个意图维护固定语法。
- 把 LIME、SHAP、反事实等解释能力封装成 function schema，让 LLM 在对话中动态选择工具，适合嵌入内部调试或面向业务人员的模型解释界面，减少对技术背景的依赖。
- 评估方法可借鉴：邀请领域专家对比传统 dashboard 和对话式界面，既测任务完成一致性也测主观偏好；业务上线前用少量专家做可用性评估，比单纯离线指标更有说服力。
- 该工作面向能源预测，推荐算法本身无直接迁移价值，主要贡献在对话式 XAI 的工具编排与交互层。
领域特定的大语言模型幻觉检测
🧭 LLM幻觉检测与领域自适应
Purdue University Fort Wayne
多信号检测管线结合DeBERTa-v3、MC Dropout与DPO，实现通用与领域自适应幻觉缓解
📌 工作参考价值（4 点）
- 在电商问答、商品描述、推荐理由等 LLM 生成场景，可部署类似“微调 DeBERTa-v3 + MC Dropout + 温度缩放”的反应级幻觉检测器，作为生成内容上线前的置信度闸门；MC Dropout 推理可额外提升准确率但增加延迟，适合异步质检而非实时推荐链路。
- 标注预算有限时，可借鉴其学习曲线结论：25% 训练数据已获 77% 性能，垂直域可先用小样本微调快速验证，再决定是否扩充标注。
- 跨域迁移风险明确：通用域检测器在生物医学域 F1 仅 0.52，域匹配预训练模型微调才明显提升；业务上不能直接复用通用事实性检测器，应使用行业语料继续预训练或微调。
- DPO 用检测器分数作为偏好信号，将 Qwen2.5-0.5B 幻觉率从 85.5% 降至 37.7%，可尝试对推荐文案/客服回复生成器做类似对齐，减少不实信息。
LOCUS：任务感知低秩后训练实现高效 token 语言生成
🧭 低秩后训练控制 LLM 输出 token 成本
University of Washington
冻结主干，在任务相关低秩子空间内做偏好优化，仅更新0.24-0.28%参数即可显著降低输出长度
📌 工作参考价值（4 点）
- 在电商/广告/Agent 场景中，LLM 生成商品文案、推荐解释、客服回复或搜索词时，输出长度直接决定推理成本与首字延迟。LOCUS 提示可以不在全参上做偏好对齐，而是冻结基座，用低秩适配器训练“简洁但保持有用”的偏好，参数更新量极小，便于线上灰度、热切换和快速回滚。
- 将输出 token 成本显式建模为约束优化：在 utility 约束下最小化长度。业务上可借鉴为“在转化率/相关性不显著下降的前提下，最小化生成 token 数”，用带长度惩罚或约束的 DPO 目标训练，避免模型学到“长回复=高偏好”的 verbosity bias。
- 任务感知的低秩子空间选择可以迁移为场景化适配器：不同业务（广告标题、搜索建议、Agent 任务规划）用不同低秩 subspace，分别控制生成长度，既保持各场景特有偏好，又避免冗长输出。
- 工程收益：论文显示仅更新约 0.25% 参数即可获得长度显著下降，这对需要频繁迭代偏好模型的多租户推荐/广告系统尤其有价值，可以大幅降低存储、训练和部署成本。