自动任务排序实现多策略 LLM 高效训练
🧭 参数高效微调 · 任务分组与排序
The Alan Turing Institute · University of Southampton · King’s College London
提出自动化任务分组与排序框架，用独立 QLoRA 解耦优化路径，在固定参数预算下提升异构任务微调性能
📌 工作参考价值（4 点）
- 多任务微调的任务组织：面对电商搜索、推荐等异构任务（如语义相关性、点击率预估、不良内容检测），可借鉴任务分组与排序策略，将相容任务归入同一适配路径，减少梯度干扰和灾难性遗忘。
- 多 LoRA 替代单一大适配器：使用多个小型 QLoRA 替代一个共享适配器，每个策略只服务一组相容任务，既控制总参数量又提升表达能力，适合需同时维护多个小模型的业务场景（如多国、多站点推荐）。
- 自动化任务路径组织：在固定参数预算下，通过自动分组和排序决定适配器分配，避免人工经验试错，该流程可直接迁移到 Agent 工具调用或意图识别等多能力微调中。
- 工程实现简洁：每个任务组对应一个 QLoRA 模块，推理时按路由加载，与 LoRA 生态兼容，便于在已有 PEFT 框架上扩展，适合快速实验和部署。
自对弈与技能演化：自演化搜索智能体，能出题、求解并记忆
🧭 自演化技能记忆 · 搜索智能体训练
University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Sciences · Peking University · Mininglamp Technology · Tsinghua University
让技能记忆在工具增强的自对弈中与任务生成协同演化，失败案例蒸馏为可复用技能写回记忆
📌 工作参考价值（4 点）
- 技能记忆演化机制可构建「失败→技能」蒸馏闭环，在电商搜索/推荐中用于积累有效的查询改写模式、多跳推理路径。
- 技能存储为外部可检索库，训练时可融入模型参数，部署时灵活选择是否启用检索，类似 RAG 的离线在线解耦，适合需要低延迟的推荐场景。
- 自对弈出题+求解的设计可迁移到对话推荐或广告创意生成，让 challenger 产出多样化用户意图，solver 从技能库中检索最优策略。
- 协同演化使技能记忆不再是静态插件，而是改变策略学习和未来训练分布，这一思路可用来构建持续自进化的推荐策略库或用户模拟器。
自适应 FastOPD：基于学习进展感知的 rollout horizon 扩展, 实现高效 on-policy 蒸馏
🧭 On-Policy Distillation 自适应 rollout 调度 ★ 深度解读
University of Science and Technology of China · Shanghai Artificial Intelligence Laboratory · Shanghai Jiao Tong University
通过监测 OPD 训练进度并仅在边界区域进展停滞且充分利用当前长度时扩展 rollout horizon，自适应加速训练达 71.2% 并保持最优性能。
📌 工作参考价值（4 点）
- 动态调度生成/推理长度：在电商推荐或 Agent 在线采样中，批量内响应长度差异大，长尾拖慢整体。可借鉴自适应扩展机制，根据学习收敛信号（而非固定步数）动态决定是否增加采样长度，避免无效计算。
- 多信号融合监测训练进展：用 top-k 重叠、概率质量、共享贪婪优势、非共享惩罚四个互补信号归一化后取最大值，比单信号更鲁棒地判断当前阶段是否收敛，可应用于推荐模型的强化学习微调中，避免单一指标过早触发策略更新。
- 长度利用率门控过滤长尾：仅当足够比例样本到达当前 horizon 或边界时才扩展，防止少数超长响应主导批次时间。推荐系统中生成式召回的序列长度、对话 Agent 的多轮交互深度均可采用类似门控，减少 straggler 影响。
- 相对基线的归一化：不对原始 teacher-student 一致信号设绝对阈值，而是以刚进入当前 horizon 时的值为基线，计算相对改进幅度。这种自参照设计可迁移到任何动态阶段训练任务，使超参数对模型和数据更稳健。
AgentStream：流式任务中自进化LLM代理的表现评估
🧭 自进化Agent在流式任务下的评估框架与发现
University of Chinese Academy of Sciences · Microsoft · Institute of Automation, Chinese Academy of Sciences · Nanjing University
提出在流式任务流下评估自进化LLM代理的框架，揭示能力、方法与场景的交互规律
📌 工作参考价值（4 点）
- 电商/搜索推荐的Agent（如对话式导购、广告策略优化）常面临持续变化的任务流，应使用类似AgentStream的流式评估替代单任务评估，以更准确地预测线上效果。
- 自进化的收益存在模型能力阈值：基础模型较弱时，自进化可能无效甚至有害。在业务中引入自进化前，需确保基座模型能力达到一定水平。
- 没有一种自进化方法在所有场景和模型上都最优，建议针对不同业务场景（如搜索Query意图分类、多轮对话推荐）进行组合测试，选择适合的方法。
- 工程设计上，可借鉴AgentStream的任务流配置思路，构建可灵活组合的模拟任务流，用于持续集成评测自进化Agent的稳定性与泛化能力。
本地计算机使用智能体的推理时扩展再思考：失败模式与计算权衡
🧭 推理时扩展与失败分析
Hanyang University
系统实证表明，推理时扩展在本地 CUAs 中收益递减且会改变失败模式，需选择性地分配计算
📌 工作参考价值（4 点）
- 在资源受限的本地推荐 Agent 中，上下文扩展的收益会饱和：给 Agent 看更多历史轨迹（如用户会话日志）虽能提升稳定性，但 token 成本急剧上升，且可能让 Agent 提前宣布虚假成功。实践中应设置上下文窗口截断上限，并监控 false success 类型的失败。
- 时间维度的扩展不解决根本问题：增加最大步数（如搜索推荐多轮对话尝试）常常只是延长错误轨迹，而非纠正错误。应结合在线失败检测（如 stall 检测）和早停机制，而非盲目扩大步数。
- 结构化解耦（Planning + Execution）在本地模型上可能引入规划与格式解析开销：若将推荐 agent 拆分为计划器和执行器，小模型容易产出格式有误的计划，或计划质量低下。若必须使用两阶段架构，可考虑加入格式校验和重试逻辑，或改用单阶段端到端方案。
- 并行采样可以部分缓解单轨错误，但计算成本高：类似 Best-of-N 采样在本地部署中可能因并行调用导致硬件压力过大。可考虑在关键决策步骤（如 item 选择）才启用少数几次并行，并设置超时和多数投票机制。
闭环记忆生成式推荐：从行为日志到演化推荐体验
🧭 生成式推荐 · 闭环经验记忆 ★ 深度解读
Alibaba Group
首次将系统侧推荐决策轨迹建模为可跨请求复用的经验内存，提出三视图压缩读写机制，在工业级数据上显著提升生成式推荐效果
📌 工作参考价值（4 点）
- 闭环经验日志设计思路：在生成式推荐/对话Agent中，可将系统侧决策与反馈路径（推荐了什么、用户是否互动）作为「经验日志」持久化，形成 behavior log + experience log 双轨记忆，避免每次请求仅从行为历史重建偏好。
- 三视图固定预算压缩：当交互历史过长无法全量送入模型时，可借鉴「最近记录锚定+频次模式+全局可迁移原型」三叉融合方式，用 固定数量 tokens（如 16 个） 概括经验，既控制计算成本又保留关键信息。
- 读取算子设计：归一化键值注意力 + 门控+幅度上限（Cap），可有效避免长日志覆盖原始查询，适合在电商实时推理中稳定注入记忆。
- 工程部署模式：经验写入仅静态追加，读取时只扫最近 N 条，梯度不反向传播写入操作，保持因果顺序，适合在线系统低延迟更新。
CCFormer：面向腾讯工业级推荐的高效跨域特征交互与分层序列压缩
🧭 工业推荐模型 · 长序列建模 ★ 深度解读
Platform and Content Group, Tencent
统一特征域分离交叉注意力与子空间token混合，实现长序列推荐的高效交互与2.21×训练加速
📌 工作参考价值（4 点）
- 特征域分离的交叉注意力：将用户、行为序列、目标物品显式解耦，仅执行必要的定向注意力，避免全 token 自注意力的二次方开销；同时支持单个前向为请求内所有候选目标并行打分，在线峰值 QPS 提升 30%。
- 子空间 token 混合替代自注意力：沿序列和通道维度分组，局部混合 token 与 hidden 维度，以轻微精度损失换取 2.21× 训练加速，适合长行为序列的粗粒度编码。
- 层次化序列压缩：Transformer 层间使用 1D 卷积下采样逐步收缩序列长度，自动构建多尺度感受野（短期→长期），在保持长程依赖的同时大幅缩减后续层的计算量。
- 工程化部署优化：混合精度训练（BF16）、嵌入表 INT8 量化 + 双哈希压缩、候选物品并行预测，实际验证了复杂架构在工业流量的可行性与收益。
Change2Task：从仓库变更自动构建可执行编码代理任务与环境
🧭 代理任务自动构建与验证
Microsoft · University of California San Diego · Zhejiang University · Xi’an Jiaotong University · Nanjing University
利用合并 PR 逆向重建健康代码库上的可验证编码代理任务，成功率达 79.6%，比 PR 基线多恢复 29.2%
📌 工作参考价值（4 点）
- 历史操作逆向为可复现环境：可借鉴 Patch Reversal 思路，将推荐系统的用户行为日志或实验配置「逆向」生成可重复执行的 Agent 训练任务，降低构造成本。
- 任务生命周期验证：从健康基础状态 → 任务状态 → 修复状态的全流程验证，可用于确保离线仿真环境的一致性和可靠性，避免训练与上线偏移。
- 环境基础复用节约开销：论文中重用现代基础镜像降低 10.8% 端到端成本，类似地，在推荐 Agent 的持续训练中通过共享基础镜像可减少重复构建。
- 多任务统一构造框架：覆盖 Bug 修复、特性添加等多类任务，启示搜索推荐 Agent 训练也可统一构造排序、召回、文案生成等不同任务，提升泛化性。
超越单一法官：模拟社交角色面板评估生成式UI
🧭 生成式UI评估 · 多角色社交加权
Shanghai Jiao Tong University · ByteDance Inc
用多角色证据锚定与社交加权面板评价生成式UI，与人类评分的相关性从0.716升至0.922
📌 工作参考价值（4 点）
- 多角色模拟用户多样性：在电商推荐或广告落地页评估中，可借鉴 ESPP 方法，构建反映不同用户画像（价格敏感、品牌偏好、视觉导向等）的角色面板，更全面地捕捉界面或推荐列表的感知差异。
- 证据锚定提升评判可靠性：要求评估者（LLM）基于界面上具体元素给出评分理由，这种“证据落地”机制可迁移到任何 LLM-as-a-judge 场景，减少幻觉和主观臆断，适用于搜索广告文案或推荐理由的质量审核。
- 社交加权与分歧分析：在多角色评分聚合时，采用有界置信模型进行观点交换与德尔菲式加权，产出更稳定的整体评分，同时保留各子群体评分用于分歧诊断，帮助识别推荐系统对不同人群的公平性问题。
- 离线评估成本优化：用一组自动化的角色面板替代部分人工用户测试，快速筛选出有潜力的UI方案或推荐策略，在进入 A/B 测试前过滤掉明显低质变体，降低实验成本。
超越帧选择：长视频理解的生成式隐式证据聚合
🧭 视频理解 · 隐式证据聚合
The Hong Kong University of Science and Technology · Baidu Inc. · Alibaba Group · Xidian University
通过查询条件分布引导隐式证据聚合，在帧选择后生成紧凑跨帧证据，以极低成本大幅提升长视频理解准确率
📌 工作参考价值（3 点）
- 视频推荐或直播理解任务中，可借鉴隐式证据聚合模块，以微小开销增强多帧/多片段信息的跨时刻融合。
- 自适应证据调用机制可迁移至推理阶段动态计算分配：根据查询难度决定是否插入额外计算模块，控制延迟。
- 用于长序列用户行为建模时，可参照查询条件分布对历史行为片段加权聚合，提升关键信息提取效率。
从理解到行动：基于反馈的策略发现用于生成式推荐
🧭 生成式推荐 · 策略发现与知识蒸馏 ★ 深度解读
Huazhong Agricultural University · Fudan University · Kuaishou Technology · Tianjin University
识别理解-行动差距，提出反馈驱动的策略发现与关系蒸馏框架，将LLM决策知识迁移至轻量SID生成器，实现高效推荐
📌 工作参考价值（4 点）
- 解耦意图与策略，用结果反馈筛选有效策略：将推荐决策拆分为意图理解（用户要什么）和策略（怎么推荐），通过LLM生成多个候选策略，再用实际推荐结果的增量收益（相比仅意图）筛选并迭代优化策略，避免语言合理但推荐效果不佳的策略。可直接用于电商推荐中优化决策逻辑，提升收入。
- 关系蒸馏替代直接匹配，将LLM知识迁移至轻量在线模型：由于LLM的语义空间与行为推荐空间不一致，采用一阶与高阶关系蒸馏对齐用户间的相对结构，比直接匹配嵌入更稳定。可在广告/电商系统中离线用LLM生成意图与策略，蒸馏到轻量生成式模型，在线推理仅增加两个Token位置，延迟仅从0.023s增至0.032s，无需LLM在线调用，适合大规模部署。
- 利用历史轨迹和群组反馈进行策略演化：策略代理基于用户正历史子序列生成多个推荐方向与拒绝边界，执行器统一评估各策略的相对优势，反馈代理通过对比分析给出群体级优化信号，最多两轮演化即可得到稳定增益。该多候选-执行-反思的Agent协作模式可推广到其他需要决策优化的场景，如搜索重排或广告创意选择。
- 意图与策略的粗-细分工设计：实验表明，意图Token主要提升Semantic ID第一层（粗粒度类别）的召回，策略Token在更深层级（细粒度区分）贡献更大。可据此设计分层生成结构，由意图约束大类，策略处理细排，有效提升推荐精度。
大模型模拟人类信念更新时存在显著偏差
🧭 LLM 模拟人类信念的评估
IT:U, Interdisciplinary Transformation University Austria
LLM 仅在给定真实初始立场时可匹配人群分布，自身生成初始立场与更新过程均不忠实
📌 工作参考价值（4 点）
- 在电商/推荐场景中使用 LLM 模拟用户反馈或 A/B 测试时，必须为模型提供真实的初始偏好（如历史行为标签），否则模拟结果会严重失真，尤其会将中立选项过度膨胀。
- 基于人口统计与性格画像的 persona 对提升模拟保真度无一致效果，不应依赖该类特征做生成式用户建模；模型的实际行为分布主要受 prompt 中给定的立场起点约束。
- 模型倾向于产生更频繁但幅度更小的偏好转移，且无法正确评估信息说服力的排序，用于模拟推荐解释或广告文案对用户态度影响时，需用真实用户数据做校准。
- 当前多轮社交媒体仿真中若缺少真实起始条件，LLM 模拟的信念动态并不可靠，若需模拟用户兴趣演化，应考虑从真实交互序列冷启动，而非让模型自行生成初始兴趣。
当派生测量误导：量化与缓解LLM过度信任的可靠性框架
🧭 LLM过度信任评估与缓解
Politecnico di Milano · Zhejiang University · Chinese Academy of Sciences · Emory University · China-Japan Friendship Hospital
定义衍生特征过度信任(DFOT)问题，提出特权模态蒸馏缓解LLM错误信任，在医学时序数据上修复误差率提升1.82-6.69个百分点
📌 工作参考价值（4 点）
- 推荐系统中派生特征（预估CTR、用户标签）进入LLM决策时，可借鉴DFOT框架设计冲突检测与可靠性声明生成，监控COTR/CIR
- 利用离线高能特征（如真实转化标签）作为特权信息蒸馏到在线可靠性模型，校准LLM对派生特征的信任度
- 构建类似D1/D2的逻辑测试集，检验LLM在矛盾噪声上下文下是否会错误接受/拒绝推荐理由
- 对Agent工具调用返回的派生数据，可引入证据特定修复边界(ESRM)评估，防止错误向上传播
DarwinX：通过自然选择进化 Agent 外壳
🧭 Agent 群体选择与 harness 进化 ★ 深度解读
Salesforce AI Research · Salesforce Agentforce
冻结模型下把 Agent 自改进变成对 harness 变体的群体选择，用保留-扩展契约和档案重组，在四个基准平均提升约 17 个点
📌 工作参考价值（4 点）
- 在电商/广告/搜索的 Agentic 产品中，可以冻结 LLM 只进化 harness（prompt、tool、skill、control flow），用 preserve-and-extend 契约做上线门禁：只接受新增能力且回归有界的编辑，避免推荐或 query 改写质量出现全局抖动。
- 保留档案中的弱势变体而非只留单最优：不同 specialist 可能分别擅长 query 推荐、商品推荐、多轮对话等子任务，merge 互补变体可覆盖更多场景，类似多策略/多智能体协作。
- 把失败轨迹、teacher 演示、自身 pass/fail 对比三种信号统一成 harness 编辑接口；业务中可用人工标注的 good/bad case 或用户反馈作为 teacher/failure 信号，不微调模型，降低迭代成本和风险。
- Agentic 推荐系统评测噪声大，用 avg@k 和 preservation probe 确认而非单次 lucky rollouts，可避免假阳性、防止过度优化某个子集。
等Token预算下，自我反思与改写不及重复采样：1.5B至7B模型实验验证
🧭 推理方法效率评估
Stony Brook University
在相同生成token成本下，所有自我审视方法均不优于简单重复采样，且模型增大后改写类方法仍显著落后。
📌 工作参考价值（4 点）
- Agent 决策中避免过度自我反省：在搜索推荐 Agent 的设计中，让模型反复审查自身输出、改写答案可能不如直接多次采样并取多数投票高效，尤其在延迟敏感的在线推理场景，应优先考虑简单的并行采样策略。
- 预算控制应以实际生成 token 数为准：对比不同推理策略时，需严格统计所有提示、反思、改写、辩论等环节的 token 消耗，否则可能高估复杂提示工程的实际收益。
- 小模型更适合简单 Best-of-N：1.5B 级别模型自我挑选答案会带来显著负收益，直接取多数票即可；模型增大到 7B 后差异缩小，但仍无需引入昂贵自我评估。
- 反思重写机制需谨慎验证：在商品描述生成、查询改写等任务中，若采用 Self-Refine 或 Reflexion 类方法，需在同等计算预算下与多次采样基准对比，确保额外 token 消耗带来真正提升而非仅由采样多样性贡献。