Harness 持续学习：冻结模型下 Agent 外部状态的持续进化
🧭 Agent 持续学习 · Harness 进化 ★ 深度解读
State Key Laboratory for Novel Software Technology, Nanjing University, China · University of Wollongong, Australia
将持续学习对象从模型参数转向 Agent 外部 harness，通过 guarded evolution 显式控制 harness-level 遗忘
📌 工作参考价值（1 点）
- 在 Agent 系统中引入 guarded evolution：将 harness 更新（prompt、memory、routing 等）与部署分离，设置历史锚点集（anchor set）作为回归测试，只有通过当前改进、历史保留和有效性检查的新配置才上线，避免线上行为退化。\n- 借鉴四组件设计：Task Interface, Experience Memory, Capability Map, Adaptive Router 可以映射到电商/搜索推荐系统的 Agent 编排层，把用户意图解析、历史交互记忆、可用工具/策略注册、决策路由分开管理，便于持续迭代和故障定位。\n- 通过调节 historical-loss tolerance Bn 控制稳定性-可塑性权衡：在大促等需要快速适应新玩法时放宽 Bn，在稳定期收紧，实现业务节奏的灵活控制，而不是一味追求最新任务的最优。\n- 利用 LLM 从原始交互中总结抽象记忆、再提炼为可复用内部技能（inner skills），可迁移到自动从用户反馈中提炼推荐策略、生成推送文案或 query 推荐模板，形成持续进化的策略库。
TRACER：平衡 LLM 增强持续推荐的稳定性-可塑性-认知性三元悖论
🧭 LLM 增强的持续推荐 · SPC 权衡 ★ 深度解读
Pohang University of Science and Technology · University of Illinois Urbana-Champaign · Korea University
提出 TRACER，通过 Procrustes 初始化、置信门控+LoRA 推理、梯度同步 guidance，在 LLM 增强持续推荐中同时缓解遗忘、适应与语义偏置
📌 工作参考价值（4 点）
- 在持续推荐/流式更新中引入 LLM 语义 embedding 时，不要无脑 concat 或全量微调 adapter：建议按初始化/推理/损失三处分别设计约束。冷启动 item/user 可用正交 Procrustes 将语义 embedding 旋转到已有 ID 协同空间，再做局部邻居校准，避免语义空间与协同空间坐标系不一致。
- 线上 serving 用 LLM 语义特征时，可加 confidence gating + LoRA 低秩更新 adapter。按曝光频率门控：高冷实体更多注入语义，热门实体更多信任 ID 协同；跨 stage merge LoRA residual、冻结 bias，防止语义主导 ID 学习。
- 训练目标里做语义对齐时，先计算 rec loss 与 semantic guide loss 的实体级梯度 cosine；同向才开启 semantic guide，反向则切换为对上一轮参数的 retrospective regularization（已有实体）或直接只学 rec（新实体）。这比固定权重蒸馏更能保护历史和新兴趣。
- 评估 LLM 增强持续推荐时别只看整体 NDCG；建议补 BWT/TRG/SRT 类指标，分别监控历史遗忘、新兴趣适应、语义先验贡献，避免出现 KAR/LLM-ESR 式语义过拟合而 TRG 很低的问题。
PEFT-Arena：从稳定性-可塑性视角评估参数高效微调
🧭 参数高效微调的稳定性-可塑性权衡与几何分析 ★ 深度解读
The Chinese University of Hong Kong · Westlake University · MPI for Intelligent Systems
提出 PEFT-Arena 基准，揭示 PEFT 方法的稳定性-可塑性权衡，正交微调 (OFT) 展现最佳前沿。
📌 工作参考价值（4 点）
- 评估 LLM 微调时需同时监控通用能力遗忘：业务中仅看下游指标会高估微调收益，建议加入指令遵循、知识问答等通用 benchmark 作为稳定性指标，避免模型被破坏。
- 优先选择结构化参数化方式：在同等参数量下，正交微调 (OFT) 比 LoRA 变体更有利于保留预训练能力。若需要做领域适配（如电商商品知识、客服话术），可考虑 OFT 或 Cayley 参数化，其谱保持性质能减少对通用能力表示几何的扭曲。
- 用插值路径诊断过冲并后验修正：SFT 末期常出现过冲，最佳权衡点早于最终 checkpoint。可用沿更新路径（加法方法缩放 ΔW，OFT 缩放 Cayley 生成元）插值，找到更优的稳定性-塑性点；也可对 OFT 按层重缩放生成元，校正层间更新不平衡，在不额外训练的情况下恢复部分遗忘的通用能力。
- 用激活空间几何指标监控遗忘：Procrustes 残差、线性 CKA 等可用于检测微调对通用数据表示结构的扭曲程度，可作为离线评估的一部分，指导早停或超参选择。