扩展发现需要遗忘：定期清空智能体状态并保留最佳候选
🧭 多智能体自动发现 · 遗忘重置机制 ★ 深度解读
UC Berkeley · Stanford · Bespoke Labs
单agent/并行/通信式多智能体自动研究都会平台期，周期性遗忘会话与搜索状态、仅保留全局最佳候选可解锁探索并提升最多15%
📌 工作参考价值（4 点）
- 在电商/广告/推荐场景用 LLM agent 做长期自动优化（prompt 策略、召回/排序超参、文案生成迭代）时，不要维持单一长 session；周期性清空上下文和 workspace、只保留 best candidate，可显著恢复探索性，避免 agent 只做小改。
- 多智能体协作建议异步、token-free 共享每位 agent 的最佳候选与分数（类似 git commit/diff），不要互相读完整方案；这样既能传播好点子，又降低同质化和 token 开销。
- 把 agent 的编辑行数、thinking tokens、空 turn 比例作为平台期信号，触发遗忘或重启；例如 VLIW 任务中 66% 花费消耗在无候选空转，这类指标可用于早停或重置。
- 遗忘后的 fresh context 每轮成本约减半（如 AHC014 team: $15.32 vs $24.67），同样预算下分成多轮重置比持续更长更划算；在搜索/调参 agent 中可优先采用多轮重置。
SoftServe：面向深度学习的可扩展拟牛顿法
🧭 深度学习优化 · 拟牛顿法
University of Massachusetts Amherst · CCM, Flatiron Institute · Cornell University
提出无需线搜索和曲率修正的可扩展拟牛顿族 SoftServe，通过正定曲率估计与 Newton-Schulz 迭代训练大规模网络
📌 工作参考价值（4 点）
- 推荐/广告模型常存在病态优化区域：长尾 item/user embedding 梯度方差大、多任务 loss 尺度差异显著。可尝试 SoftServe 的 diagonal 曲率预处理，作为 Adam 的替代或 warmup 后切换，减少手调 epsilon/weight decay 的敏感性。
- 工业级推荐模型参数巨大，Kronecker-factored 变体可对 layer-wise 曲率做结构化近似，类似 K-FAC 但保证正定，适合 Transformer/特征交互层；工程上用 Newton–Schulz 迭代通过矩阵乘法实现，便于 GPU/TPU 加速。
- 该方法强调无需 line search，减少分布式训练中的通信与超参搜索成本；在离线 CTR/CVR 或召回模型训练中，可先在病态子任务（如 autoencoder 特征压缩、辅助 loss）上验证收敛速度与最终 loss。
- 注意：论文主要面向通用深度学习优化，不是推荐/检索架构本身；落地前需评估其对稀疏 embedding、动态数据流和在线更新的兼容性，初期以离线对比实验为主。
跟随偏好却错失最优：AI住房推荐的合规无优化审计
🧭 LLM推荐系统审计与优化缺陷诊断
Harvard University · Independent Researcher
大规模审计发现LLM在住房推荐中几乎完美遵守硬约束，但39%的推荐被同池中更优选项严格支配
📌 工作参考价值（4 点）
- 在电商/推荐场景中，对LLM推荐不要只检查约束合规，应引入支配性检测：从候选池中计算被严格支配的比例，作为线上部署前的诊断指标，可提前暴露“只满足条件但非最优”的问题。
- 将LLM作为推荐器时，需要显式的优化目标或后处理层：论文显示仅靠自然语言指令无法让模型自动寻找更便宜/更快的选项，可在LLM输出后用规则或排序模型在满足约束的候选中选择Pareto最优项。
- 大规模候选集会放大优化差距（候选集越大，LLM推荐与最优的租金差距越大），因此在大规模召回的电商/广告场景中，应先用检索或粗排缩小候选集，再让LLM做精细推荐，避免直接让LLM面对海量候选。
- 该审计成本极低（约57美元完成近万次调用），可在业务中构建自动化评估管道，用真实商品/广告库存定期审计LLM推荐质量，监测是否出现“合规但不优化”的漂移。
演化式模型与领域特定安全 Harness 框架
🧭 Agent 安全防御与自动化 harness 合成
Johns Hopkins University · University of Wisconsin–Madison · NVIDIA · University of Illinois Urbana–Champaign · UC Berkeley
自动合成针对冻结模型与目标领域的安全 harness，联合搜索自然语言策略和可执行代码逻辑，在保障效用下大幅降低攻击成功率
📌 工作参考价值（4 点）
- 在推荐/搜索 Agent 中增加独立安全层：将安全 harness 与推荐逻辑解耦，自动生成针对特定模型和业务域的策略与代码，避免手工编写规则，可快速适配不同推荐模型（如 LLM 推荐生成式商品描述）。
- 模型-领域特定的安全阈值自动调优：借鉴其联合搜索策略，为每个推荐模型和场景（如电商导购、广告文案生成）自动发现最优的安全约束强度，平衡过度拦截与安全漏洞，节省人工调优成本。
- 将领域合规要求嵌入可执行代码：类似地提取电商/广告领域的业务安全关系（如广告法违禁词、价格合规），编译为可执行的过滤逻辑，并集成到 Agent 的动作执行前检查中。
- 对抗性评估与在线迭代：在发布推荐 Agent 前，使用类似 PAIR 的自适应攻击模拟恶意输入或提示注入，评估防御有效性；将对抗审查作为持续集成的一部分，动态更新安全 harness。
MISO：用模型内部状态引导排序模型优化
🧭 模型内部状态引导的排序模型局部优化 ★ 深度解读
Meta
利用模型参数、激活、梯度等内部状态聚合出可解释信号，将排序模型优化试错成本降低84–94%
📌 工作参考价值（4 点）
- 将 MISO 的「ranking / alignment / comparison」三种聚合原语引入模型迭代流程，替代纯端到端指标判断，可以快速定位需要扩增容量、替换归一化模块或剪枝的位置，减少盲目试验。
- 工程上可以直接在训练框架中挂载 MIS 提取器（参数、梯度、归一化统计），离线分析后给出一份优先级排序的候选动作列表，再用少量验证 run 确认；适合广告/推荐团队在模型版本频繁更新时做低成本诊断。
- 对齐原语（Alignment）用于发现归一化层分布偏移，可提前干预不稳定特征流，避免线上指标漂移或训练崩坏；这一思路可直接用于电商搜索的 DNN 排序模型。
- MISO 本身是一种闭环优化范式：提取信号→生成建议→验证→再提取。可以结合现有的 AutoML 或超参调优流程，用 MIS 信号做剪枝后的高效搜索，保留可解释性的同时大幅降低重训练消耗。
自主可审计的医学影像模型开发多智能体框架
🧭 多智能体协作驱动自动化模型开发
The Chinese University of Hong Kong · Institute of Automation, Chinese Academy of Sciences · Microsoft Research · Lehigh University · Independent Researcher
提出 AMID 多智能体框架，通过数据条件方法规划与验证引导两阶段优化，实现医学影像模型开发自主化
📌 工作参考价值（4 点）
- 数据条件的方法规划：根据任务数据分析（特征分布、数据质量等）将粗粒度搜索空间细化为可执行的并行探索路径，可迁移至推荐系统的自动特征工程和模型架构搜索，避免盲目超参试探。
- 验证引导的两阶段优化：先广泛探索再聚焦高潜力候选，并在全流程强制校验验证协议、指标计算和输出物，适用于电商推荐模型的 AB 实验自动优化与合规检查，减少人工介入。
- 多智能体协作流水线：计划、执行、验证等 agent 分工协作，可参考搭建推荐模型开发的自主迭代闭环，从数据到上线全链路自动化。
- 强调可审计性：对预测产物和流程的强制验证思路，可借鉴用于生成式推荐中确保生成内容的安全性与一致性，或广告创意自动化审核。
进化微调：跨越371个优化任务的学习发现
🧭 进化搜索LLM Agent · 跨任务迁移
University of Minnesota · Carnegie Mellon University · KAIST · University of Cambridge · Hanyang University
将进化搜索轨迹转为训练数据，让LLM学会跨任务的迭代进化改进能力
📌 工作参考价值（4 点）
- 搜索/推荐场景中的超参调优、召回策略组合优化可借鉴：将历史自动调参轨迹作为训练数据，让 LLM 预测下一步变异方向，减少试错成本。
- Agent 设计可学习“如何改进解决方案”的元能力，而非依赖外部脚手架：将搜索中的成功/失败经验注入模型，使 Agent 在新场景下快速适应。
- 多目标优化（如点击率 vs 多样性）可将帕累托搜索过程构造为轨迹数据集，微调出能直接生成改进策略的模型。
- 工程上，轨迹数据的构造需包含候选解、评分、变异操作、结果反馈，可仿照 Finch Collection 设计领域特定的搜索轨迹格式。
基于流形幂迭代重新设计 MoE 路由器
🧭 MoE 路由器设计 · 幂迭代对齐 ★ 深度解读
Renmin University of China · Tencent
让路由器行向量逼近对应专家权重的主奇异方向，以提升 MoE 路由质量
📌 工作参考价值（4 点）
- 路由器显式编码专家特征：在电商 Agent 多智能体或生成式推荐的 MoE 架构中，可直接替入 MPI，无需调整推理 pipeline。每步仅需一次幂迭代与 L2 归一化，零额外推理开销，能与现有负载均衡损失、z-loss 等兼容。
- 幂迭代替代正交化初始化：若业务中专家矩阵动态更新，可借鉴 MPI 的“Power-then-Retract”模板，用廉价矩阵乘实时跟踪主奇异方向，代替昂贵的 SVD 或静态正交初始化，使路由器持续对齐专家能力变化，尤其适合在线更新的场景。
- 常数 C 的缩放准则：论文给出的 C′ ≈ O(1/√N) 设计原则（C = C′/√N）可作为超参传递给不同专家数模型，在推荐系统扩容专家时降低调参成本，保障路由 logits 尺度稳定。
- 负载均衡意外收益：MPI 天然降低负载均衡损失，省去一部分复杂的平衡策略，可用于电商多业务专家流量的自动均衡，减少“专家失活”问题。
双重预处理（DoPr）：优化测试时性能而非验证损失
🧭 训练优化 · 测试时反馈
University of Pennsylvania · Carnegie Mellon University · Amazon FAR
提出双重预处理（DoPr）结合梯度与激活预处理，提升自回归等测试时反馈场景下的下游性能，且不一定改善验证损失。
📌 工作参考价值（4 点）
- 在自回归生成、多步推理等测试时反馈场景中，可直接将 DoPr 作为即插即用的训练方案，减少误差累积，提升下游任务成功率。
- 对于电商 Agent 的规划、工具调用等需要多步 rollout 的任务，DoPr 提供了一种不依赖昂贵 RL 微调的轻量优化思路。
- 激活预处理（AP）强调层间特征学习的均匀性，这可以迁移到推荐模型中，潜在地改善特征交互与泛化，尤其在 generation-based RecSys 中值得尝试。
- 验证损失与下游指标脱钩的发现提醒：在评估生成式推荐或多步 Agent 时，不能仅追求单步预测损失，应直接观测 rollout 质量或任务完成率。