循环混合专家模型的联合缩放定律
🧭 循环 MoE 联合缩放定律 ★ 深度解读
Meta AI
提出首个联合建模循环深度与 MoE 稀疏度的缩放定律，用于资源约束下最优循环 MoE 设计
📌 工作参考价值（4 点）
- 在推荐/广告场景部署 LLM ranker 或 copy 生成模型时，可借鉴循环 MoE：固定 active 参数下提高 R 换取 reasoning 能力，稀疏度 E 换取总体知识覆盖；按 latency/显存预算联合调 R 和 E，而不是简单增大 dense 参数。
- 若有训练 scaling law 拟合能力，可仿照论文用小规模 (Nact,D,E,R) sweep 拟合含稀疏度条件的 Neff(R,m)，预估不同 FLOPs/内存下配置的 loss，指导模型 ladder 选型；低内存设备优先高 R 低 E，富内存场景优先高 E 低 R。
- 循环模型天然支持 test-time scaling：同一 checkpoint 只改 R 即可从低算力到高算力平滑提升效果（案例中 R 1→5 提升 Overall +10.3），适合推荐系夜间批量生成与在线高 QPS 弹性推理。
- 工程实现采用 middle-block looping：只循环中间层，前两层和后两层不共享，配合逐层监督可让同一模型在多个 R 下可评测；注意全反向传播计算与 unroll 参数成正比，可用 early exit 减少无效深循环。
广泛探索、锐利推理：用并行回火采样将小模型推向前沿
🧭 推理采样 · parallel tempering ★ 深度解读
Georgia Institute of Technology · University of Texas at El Paso · Morgan Stanley
用并行回火耦合多档功率锐化采样链，解决探索利用矛盾，让小模型无需训练逼近前沿推理
📌 工作参考价值（4 点）
- 商品文案、搜索 query 改写、Agent 多步规划等开放式生成任务，可借鉴 PPT 的探索-利用分工：低 sharpening 链生成多样候选，高 sharpening 链筛选稳定高质量答案，swap 让好路径快速上传，无需额外训练。
- 如果线上已缓存 log-probs 和 KV cache，swap 只是交换状态指针，几乎没有额外模型调用；适合叠加到 vLLM/paged attention 服务，峰值显存约增加 2.5-3.7 倍，按 replica 数可预估。
- 实现可变长度生成重采样时要注意截断偏差：采用固定 horizon + post-EOS padding，否则短序列会被单方面接受，导致目标分布偏置，直接影响生成质量。
- 不想上 RL post-training 但需要提升小模型推理能力时，可先试 PPT：不依赖 reward model，也避免 RL 的 jagged generalization；对数学、代码、科学推理等可验证任务尤其有效。ladder 调参优先用 equi-accepting，避免相邻 swap 接受率出现瓶颈。
终端智能体动作级采样与验证方法
🧭 终端 Agent 动作级验证与测试时扩展 ★ 深度解读
NVIDIA · KAIST
在动作执行前采样并验证多个候选，以 pairwise 比较和蒸馏提升终端 Agent 轨迹成功率，成本效率优于纯轨迹扩展
📌 工作参考价值（4 点）
- 对会改变环境状态的关键动作（选品、改库存、出价、下架、发消息）在执行前采样多个候选并用 pairwise verifier 筛选；pairwise 比 listwise/pointwise 更稳定，尤其生成器与验证器同模型时。
- 有更强模型但推理成本高时，离线收集 teacher 的 pairwise 偏好，用 LoRA 蒸馏出轻量 verifier，生成器不动；决策-only 只输出 A/B，可再降 20-24% token 成本，9B 模型上 Pass@1 不降反升。
- 动作级验证可与轨迹级 Best-of-N/Sequential Refine 叠加：同等环境执行次数下 Pass@1 可显著提升；测试时算力优先加动作验证，比单纯多跑完整 trajectory 更划算。
- 离线诊断 disagreement 发现失败集中在「命令语义 / 执行可行性」，建议业务中重点标注此类样本，优化 verifier。
重排序与晚期交互驱动检索质量：科学问答 RAG 策略受控对比
🧭 RAG 检索策略对比评测 ★ 深度解读
San Jose State University, Department of Computer Science
在46万篇arXiv语料上系统对比6种RAG检索管线，ColBERT晚期交互与改写加重排效果最好，融合与Agent检索反不及基线
📌 工作参考价值（4 点）
- 电商商品搜索/内容推荐的知识增强检索中，若当前向量召回是单向量池化，可优先评估 ColBERT/PLAID 这类 late-interaction 索引：同语料下 Hit@3 从 47–53% 翻倍到 93–95%，对最终生成质量有直接提升；代价是建索引与检索成本更高，适合高价值 query 或小规模候选集召回。
- LLM 查询改写不能单独上：改写可能让 query 漂移，尤其意图型 query 的 Hit@3 反下降（39.7% vs 46.3%）。实践中若上改写，必须接一个 reranker（listwise LLM rerank 或 cross-encoder），让改写+重排作为整体管线，否则不如直接 raw query 检索。
- 多查询融合 RRF 和 Agentic tool-call 在这些实验里没有带来增益，反而显著低于经典基线；业务引入 agent 自主决定是否检索时需要明确回答率与成本约束，不能因为“更智能”就默认更好。
- 评测设计可复用：固定 generator、prompt、文档池，用配对查询差异（paired delta + 95% CI）而非只看均值；LLM-as-a-judge 用不同模型家族以避免 self-preference；同时报告 answer rate 和 conditional score，避免拒答/零分扭曲结论，并报告 Hit@1/Hit@3/MRR@3 与生成质量的相关性。
组件感知反馈驱动的自进化程序
🧭 LLM 程序进化 · 组件级归因反馈 ★ 深度解读
Santa Clara University
对进化搜索中的每次代码变更做组件级归因并写入记忆，让 LLM mutator 在重排任务上收敛更快、效果更好
📌 工作参考价值（4 点）
- 在 LLM-guided evolutionary search 或自动优化 pipeline 中，不要只给 mutator 看完整代码和总分；把每次 mutation 的组件 diff（新增/删除/修改的函数、常量）与 evaluator 返回的 metric 变化组成 (component_set, delta_metrics) 记录，显式注入 prompt，能显著减少 LLM 从长上下文推断编辑效果的负担。
- 双参考帧设计值得复用：local frame（child vs parent）回答“上一步有没有用”，global frame（child vs seed）回答“整条 lineage 是否值得继续”。在搜索停滞时调用 global frame，可帮助 mutator 换策略而不是在局部瞎试。
- 多目标优化目标函数可借鉴：将质量项和成本项分别对 seed 归一化，加一个小的 λ 项和 min(a,b) 项，既能同时优化质量和 token 成本，又避免搜索只玩一个维度。电商重排/广告出价等成本敏感场景可以直接套用。
- 本地可服务模型（如 Qwen3.6-35B-A3B）就够用，不依赖 frontier LLM；组件级归因反馈提高了样本效率和跨域泛化，对线上持续自动调参/调 pipeline 有直接工程价值。
AREX-2：通过长程反思任务推进自改进智能体
🧭 自改进 Agent · 长程反思训练 ★ 深度解读
Beijing Academy of Artificial Intelligence (BAAI)
用长程反思轨迹训练 27B agent，在 ML/编程及深度研究基准上逼近更大模型
📌 工作参考价值（4 点）
- 把“失败和恢复”写进训练轨迹，而不是只保留成功答案：在电商搜索/广告 agent 做 query 改写、创意优化时，可用离线仿真或历史日志构造多轮改进轨迹，保留负面反馈与后续修复步骤，loss 只施加在产生进步的动作上。
- 用 graded reward 替代 binary pass/fail：推荐/搜索中的 ranking 调优或选词不要只给“是否采纳”，可给连续指标（CTR、NDCG、转化率变化量），让每轮反馈都有信息量，延长有效迭代轮数。
- 把 operational knowledge 做成可注入的 skills：在基座模型不变的情况下，将商品类目规则、广告政策、用户意图词典等做成紧凑文档放进 context，能显著提升 agent 初始能力；实验中 base 从 28.8 到 68.2，说明业务知识注入比重新训练更便宜。
- 在线上 agentic 工作流中预留 round budget，并用 best-so-far 指标评估：例如对高价值广告计划或搜索 query，可给 agent 多次尝试与自评机会，按测试时消耗动态增加调用；但注意有效 horizon，超出 T* 后不再提升。
测量与缓解 LLM 推荐系统中的身份线索偏好漂移
🧭 LLM RecSys 身份线索漂移测量与缓解 ★ 深度解读
Institute of Intelligent Computing, University of Electronic Science and Technology of China
提出 PromptShift 训练-free 框架，量化并缓解 LLM 推荐中单条身份线索导致的群体偏好漂移，SliceShift 平均降低 62.42%
📌 工作参考价值（4 点）
- 在 LLM 排序/推荐中，prompt 注入用户性别、年龄等 profile 属性不是中性输入：即使行为历史不变，也会系统性把结果拉向该群体热门物品。工程上应把身份字段视为可干预变量，并对线上 prompt 做受控对照测试（paraphrase controls）以区分普通措辞敏感性。
- 可复用其 slice-popularity table：用近期正反馈构建 identity slice × item 频率表，小样本 shrink 向全局，再用 Δφ=φ(item,g)-φ(item,⋆) 识别“群体过流行”物品，作为无参数偏差审计信号。
- 后处理 reranking 适合合规/轻量去偏：对 LLM 生成候选池 (N>K) 用 score = α_u·rank_score + (1-α_u)·(1-φ(item,g)) 重排，α_u 由用户历史 mainstreamness 动态调节；保留 top K' 不干预，能提升 HitRate/MRR 且几乎无额外模型调用。
- 注意 trade-off：该方法可能降低 NDCG，因为会扰动多命中排序；如果业务更重 NDCG 需压 α 下限或只在前 K 外做调整。
从干草堆中拔针：通过权重正交化移除 LLM 后门
🧭 LLM 安全防御 · 权重正交化
Locai Labs · Centre for AI, Computer Science, UCL
训练免清洗方法估计后门方向与拒绝子空间，对权重正交化，在保持安全能力的同时实现最低 ASR
📌 工作参考价值（4 点）
- 若业务中微调或使用开源 LLM 作为导购/客服/推荐 Agent，上游权重可能被投毒；NEEDLE 提供一种无需干净基线和原始训练数据的应急修复手段，适合已上线模型的后门摘除。
- 其“估计激活方向 → 权重正交投影”的思路可推广到业务中的模型行为纠正：例如用少量对比样本估计生成式推荐模型中的偏见、幻觉或不合规输出方向，通过投影移除，无需全量微调。
- 保留拒绝子空间的做法可作为模型编辑的约束：在修改推荐/Agent 模型权重时，显式保持安全对齐相关表示不变，降低对拒绝、安全审核、对话质量等下游能力的附带损害。
- 评估体系可借鉴：线上模型任何补丁/编辑/校准，除了效果指标，应同时监控 ASR、KL 散度与能力基准，避免治好后门却牺牲推荐/对话质量。
CorrGRPO：多奖励学习的相关性归一化 GRPO
🧭 多奖励 RL · GRPO 归一化 ★ 深度解读
Hong Kong University of Science and Technology
将 GRPO 多奖励优势归一化从协方差改为 Pearson 相关，消除大方差奖励主导，提升代码/工具/Agent 安全多目标训练效果
📌 工作参考价值（4 点）
- 工程实现简单：只需在 group advantage 分母中用相关矩阵元素和替换协方差和，分子保持 centered total reward；论文 Listing 1 可直接作为现有多奖励 GRPO 训练代码的改造模板。
- 当业务奖励量纲/方差差异大（例如 CTR、转化、时长、多样性、安全分）时，CorrGRPO 可避免大方差目标主导优势缩放，同时保留预设目标权重；适合作为多目标 RL 的默认 advantage normalizer。
- 高度相关的奖励（点击与转化、多个可用性指标）会被相关归一化自动去冗余，避免重复奖励放大更新；在 reward hacking 或目标一致性强时尤其有用，可辅助探索。
- 训练动态上 CorrGRPO 保留更高策略熵，减缓 entropy collapse，有利于持续探索和发现高奖励策略；可与 KL 系数、DAPO/CISPO 等现有 RL 方法结合。
单纯形扩散模型：离散扩散的概率单纯形框架
🧭 离散扩散 · 概率单纯形 ★ 深度解读
Google DeepMind · EPFL · UCL Gatsby
提出在概率单纯形上扩散的 SDM，保留中间不确定性，用 DDIM 式采样统一离散与连续扩散
📌 工作参考价值（4 点）
- 生成式推荐/ Semantic ID 生成中，离散扩散每一步仅采样一个 token 会丢失分布，SDM 用单纯形上的分布作为中间状态，可保留候选 item 的不确定性，减少误差累积；无需 Self-Conditioning 的额外前向。
- 大词表场景（如 item ID 词表很大）可以用 argmax embedding 替代期望 embedding，避免 O(V*d) 矩阵乘法，同时保持推理连续状态；这是工程上可落地的 trick。
- DDIM-like 采样器有 churn 参数，可调节随机性（实验中 κ=1 通常最好），且支持蒸馏到极低步数（8 步），有利于在线生成式推荐的低延迟部署。
- 用 normalized variance ν_t 调度浓度比直接调 c_t 更直观，便于在不同任务上快速调参；自适应时间采样也能提升性能。
E-MoE：面向非因子化扩散语言模型的增强型专家混合
🧭 非因子化扩散语言模型 · MoE 路由
Applied AI Institute, Moscow, Russia
利用 MoE 路由决策作为离散共享隐变量，构建非因子化反向过程，在不增加激活参数下提升少步生成质量
📌 工作参考价值（3 点）
- 若业务中存在少步文本生成需求（如创意文案、标题生成、query 补全、push 文案），E-MoE 可用 MoE 路由决策作为离散共享隐变量，比连续 VAE latent 更不易 posterior collapse，且不增加激活参数，适合在线推理。
- 非因子化建模思路可迁移：在生成式推荐或 query 生成中，token 间常有强相关性（属性组合、标题模板、风格约束），可尝试将反向过程构造为多个因子化分布的 mixture，通过轻量 MoE router 输出离散 latent 来捕获位置依赖。
- 工程实现上：共享路由决策不增加 active parameters，意味着在低 NFE 场景下推理时延可控；可在现有 MDLM 基础上仅替换反向建模方式，无需重新设计主干网络。
EasyPPO：稳定 Critic 是 PPO 稳定训练的关键
🧭 RLVR / PPO 训练稳定性优化 ★ 深度解读
University of California, Berkeley · Princeton University
通过 actor-only 截断过滤、按回报方差加权 critic 损失和较小 critic mini-batch，稳定 PPO 训练并全面优于现有方法
📌 工作参考价值（4 点）
- 若在搜索/推荐 Agent 或生成式排序中用 PPO/RLVR 训练 LLM，不要同时对 actor 和 critic 过滤超长 rollout：截断样本保留给 critic 学习，能避免策略偏向“早点截断也能拿到的条件奖励”，同时 actor 侧只过滤截断样本仍可降低噪声。
- 当不同 query / 用户组 / 问题上的 reward 方差差异很大（如连续奖励：转化金额、延迟、GPU kernel 加速比等），对 critic loss 使用 prompt 组内回报标准差的倒数加权，可以在现有分组采样 rollout 的框架下低成本实现，防止少数高方差 prompt 主导 critic 更新。
- 工程上 critic mini-batch 不必等于整个 rollout batch；默认切成 4 个 mini-batch 并做 gradient clipping，能限制 outlier 影响范围。若改变 mini-batch 数，记得按 η ∝ 1/√K 调整 critic 学习率。
- 训练监控可以看 critic 的 explained variance 和 clip 前 gradient norm；持续大幅波动或 EV 突然下降通常是 critic 失效的前兆，可作为在线崩溃预警。
EpiCon：通过共演化多模态记忆的智能体集体学习
🧭 多智能体共享多模态经验记忆 ★ 深度解读
MIT-IBM Computing Research Lab · University of Rochester · Massachusetts Institute of Technology
共享多模态外部记忆，两个2B模型负责经验更新与树形巩固，支持跨智能体系统复用且不动宿主参数
📌 工作参考价值（4 点）
- 可把 EpiCon 的共享外部记忆模式用于电商 Agent 中台：将 query 理解、商品图/详情页文档审核、素材生成等成功/失败轨迹沉淀为可复用 lessons 和规则，不同场景或模型版本直接检索复用，主模型不用再训练。
- 用 2B 小模型做 memory controller / tree organizer，而不是直接调骨干模型管理记忆，可降低 67–74% 记忆操作耗时；对需要频繁读写外部记忆的线上 Agent 有直接工程收益。
- 树形经验组织与 consolidation 生成规则，比扁平 memory 稳定；可借鉴 Place/Merge/Split+Lift 与容量 partition，对用户分群、商品类目、店铺运营等多层级知识做抽象和冲突消解。
- 自适应视觉注入 gate 值得迁移到多模态推荐/搜索：根据当前 query 和 memory 描述决定是否附带图片区域，减少无关视觉 token，提升上下文效率，尤其适合商品多图、详情页截图等长上下文场景。
EVOKE：通过目标多样性引出世界知识以提升 Agent 可迁移决策
🧭 Agent 后训练 · 世界知识引出 ★ 深度解读
Shanghai Jiaotong University · Hong Kong Polytechnic University · Eastern Institute of Technology, Ningbo
固定状态与历史、切换目标并对同一组动作做排序监督，迫使策略调用预训练世界知识做决策，而非依赖单目标习惯
📌 工作参考价值（4 点）
- 在电商/导购 Agent 中，可以对同一页面（商品详情、购物车、结算页）构造多个互斥目标（立即下单、修改地址、比价、取消订单），让策略在相同 state/history 下对同一组候选动作排序；只要不同目标偏好反转，就能强制模型使用动作后果知识，而不是记住单目标下的页面习惯，提升未见过活动页/新商城环境的泛化。
- 用「策略当前高分但被环境反馈判定为不推进目标」的动作作为 hard negative，结合 pairwise + listwise ranking，而不是只对 positive 做 SFT，能显著抑制线上 Agent 的惯常错误动作，减少无效点击和重复访问；电商搜索 Agent 可直接用日志反馈构造这类负样本。
- 训练时用 LLM 标注器对真实执行结果做 grounded 标注（实际执行后的 next page/结果），不把预测状态喂给策略；推理时部署标准 policy，无世界模型/规划模块，适合低延迟线上服务。可以借鉴「标注用执行结果，推理零额外开销」的设计。
- 数据效率高：ALFWorld 上仅用约 9% 的演示步数做多目标排序，unseen success 从 60.4% 拉到 91.8%；用当前策略 rollout 并 DAgger 式多轮聚合 policy-favored negatives，适合在电商仿真器/线上日志中低成本持续迭代。
EvoSkillRec：技能基因组进化用于推荐系统架构发现
🧭 推荐架构自动进化 · Skill 库与 LLM 代码合成 ★ 深度解读
City University of Hong Kong · Kuaishou Technology · Xi'an Jiaotong University
将推荐模型拆解为可复用技能卡，通过技能空间重组与LLM代码空间发明双空间进化，并沉淀有效创新
📌 工作参考价值（4 点）
- 将现有线上模型拆成结构化 skill card：声明输入输出 key、inductive bias、失败签名、验证 suite 与历史收益，形成可检索库；新架构组合时靠类型检查和规则匹配过滤不可行候选，避免浪费训练资源。
- 双空间进化策略：先用低成本 skill 空间做 add/replace/hybridize/specialize 重组，性能平台期再动态增加 code 空间预算，让 LLM 规划器与合成器发明新模块；验证有效后将其沉淀为 Tier-2 技能，供后续 skill 空间复用，形成持续积累。
- 生成式排序模型上可联合优化 AUC 与训练 MFU：设置 eligibility 门槛（AUC 损失 ≤1e-3、MFU ≥ 种子模型 95%）选择候选，实验显示同一批进化结构可同时提升精度与硬件利用率，避免两目标对立。
- LLM backbone 对发现结果影响显著：CTR 任务闭源模型更稳，MTL/MDL 任务开放权重 GLM-5.2 性价比高；可针对业务任务类型预选 backbone，降低 API 探索成本。