微调前可线性读取的知识在微调后更能泛化
🧭 LLM 线性可读性与微调泛化
Center for Information and Language Processing, LMU Munich · Munich Center for Machine Learning (MCML)
预训练表示中原关系的线性可读性越强，新构造关系微调后的泛化越好，模型内 Pearson r=0.87–0.92
📌 工作参考价值（4 点）
- 微调电商/搜索领域的实体属性映射前（如品牌→类目、商品→属性、query→品类），先用线性探针测量预训练表示中该映射是否线性可读；可读性高时，小样本微调更可能泛化到长尾实体，可节省标注和算力。
- 若要做生成式推荐或 Semantic ID 映射等新任务，可构造“原属性→任意新标签”的代理任务，快速预判模型能否在新实体上泛化，避免在不可泛化的监督信号上做无效微调。
- 线上模型出现错误标签时，可将错误标签映射回原答案，并通过线性探针的 top 预测辅助诊断：错误可能不是模型没记住事实，而是共享结构没有被线性编码；这能指导后续是继续微调还是补充预训练/表示学习。
- 对 Agent 或 LLM4Rec 中需要模型进行规则归纳、实体聚类、属性补全的场景，优先选择预训练表示中已线性可分的特征作为监督目标，能显著提高微调后的 held-out 泛化。
在线策略参数更新方向支撑LLM后训练泛化
🧭 LLM后训练·参数更新方向约束
State Key Lab. of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Meituan
提出OPSFT：约束SFT沿在线策略累积更新方向更新，仅少量在线策略步即可将泛化优势迁移给监督微调
📌 工作参考价值（4 点）
- 在需要保留在线策略泛化能力但训练预算有限的场景，可先跑少量 on-policy 步骤提取累积参数更新方向，再用 OPSFT 将大规模 SFT 更新投影到该方向，避免全量线上采样成本。
- 对已有高质量人工标注/线上反馈轨迹的电商导购 Agent 或文案生成模型，可将这些轨迹作为 OPSFT 的 SFT 数据继续训练，不会破坏之前在线策略学到的探索与泛化能力。
- 该方法提供了一种从在线策略到离线 SFT 的“方向蒸馏”机制，适合工业界在 RLHF/DPO 与 SFT 之间做低成本的训练范式切换。
- 注意该方法主要针对 LLM 后训练流程，不直接改变推荐/召回模型架构；若业务中需要频繁迭代生成式模型，可在训练 pipeline 中作为正则项复用。
OPTQ 的泛化行为与正则化作用
🧭 模型量化泛化理论
University of California, San Diego
为 OPTQ 及其随机变体建立泛化误差上界，并提出更优的正则化参数选择
📌 工作参考价值（4 点）
- 在做 LLM 部署量化（如推荐系统的排序大模型、Agent 规划模型做 INT4/INT8 量化）时，OPTQ 校准集的正则项 λ 不要沿用默认值，可参考文中理论选择方式，可能显著降低线上量化误差。
- 若业务场景数据分布随时间漂移（电商大促、季节性变化），可考虑 stochastic OPTQ 这类随机化量化，其泛化误差界不依赖特定校准集，对分布鲁棒性更强。
- 论文提供量化误差与校准集大小、分布匹配的理论关系，可用于指导校准集构建：尽量保证校准集与线上分布同源、样本量足够，避免离线效果好但线上掉点。
- 总体学术性较强，除上述适用点外，大部分理论结果难以直接落地；业务团队可关注其 λ 选择建议或对量化工具的超参数默认值做调整实验。
编码智能体求解广义任务与运动规划问题
🧭 Coding Agent 自动化 TAMP 程序合成
编码智能体在28个仿真环境中自动合成可泛化的TAMP程序，成功率56%–95%，超越手工规划器与LLM基线
📌 工作参考价值（4 点）
- 合成与执行解耦，离线产出可部署策略：LLM 在沙盒里把规则写成确定性代码，在线只跑代码而非每次 LLM 推理，文中平均每实例计算量降低一个数量级。电商 Agent 做选品、出价、推荐策略时，可让 LLM 在历史日志或仿真环境中生成 Python/SQL 函数，离线验证后部署，节省线上 token 成本与延迟。
- 固定合成预算 + 大规模留出评估：用 980 个程序 × 100 实例做统计评估，比单次 one-shot 更有说服力。业务 Agent 评测可仿照：给每个 agent 固定交互步数，在留出日志或 synthetic users 上跑多组实验，避免只报平均值而忽略环境难度分布。
- 用交互校准模型、测试边缘 case：日志显示 agent 会主动构造极端场景来修正物理模型。推荐/广告 Agent 可提供 shadow traffic 或合成用户，允许其在受限交互中做反事实测试和自我纠错，而不是只做被动 rollout。
- 保留完整 prompt 与程序 trace：可复现性做法值得借鉴；业务中要求 Agent 输出中间程序并记录决策轨迹，便于审计、调优和上线回滚。
压力测试对齐中间训练：动机植入在微调扰动与泛化上的脆弱性
🧭 LLM 对齐中训练压力测试 ★ 深度解读
Arcadia Impact · Resolution
大规模压力测试发现对齐中训练植入的动机可被2%冲突微调数据覆盖，且对未演示规则泛化弱
📌 工作参考价值（4 点）
- 业务里若用合成文档或“宪法”式 midtraining 植入策略/规则，不要只看 chat 评估：要做决策式评测（类似 Dispatch 作业分配），否则模型会嘴上遵守但行为已被覆盖。
- 对抗性污染测试很重要：仅 2% 冲突 EFT 样本（约 45K tokens）就能覆盖 190M tokens 中训练动机。上线前应注入少量冲突标注或用户反馈噪声，验证 Agent 行为是否会被带偏。
- 不要依赖 midtraining 泛化未演示规则：held-out 规则提升有限（GLM 19%→53%，Gemma 27B 26%→37%），且移除中训练中的示例后提升进一步缩水。关键规则应在 post-training 演示中全覆盖，不能指望 AMT 自动补齐。
- 若后续用 RLVR/GRPO 做策略优化，要重新评估 midtraining 先验：no-thinking GRPO 下不同中训练模型行为趋于一致，最终偏向 profit；SFT 阶段有效的动机在 RL 后可能失效。
无推理轨迹的专家模型训练：领域专家蒸馏的隐式轨迹选择
🧭 专家模型训练与蒸馏 · 隐式推理轨迹
University of British Columbia · Shanghai Artificial Intelligence Laboratory · University of Helsinki · ELLIS Institute Finland · University of Turku
证明仅用 QA 训练的专家模型会隐式选择推理轨迹，且 tuning 选择直接控制下游学生的领域精度与通用能力平衡
📌 工作参考价值（4 点）
- 在电商/广告场景训练领域 LLM 专家时，如果只有 QA 对、没有 expert reasoning 标注，SFT 的超参（learning rate、epochs、数据配比、正则）会直接决定 teacher 生成的推理轨迹分布，进而影响蒸馏出的下游学生。应将专家模型的 tuning 配置视为向学生传递的隐式监督，而不是只盯着 teacher 的域内指标。
- 可以把 small student 当作无偏 probe，快速观测专家模型的隐式轨迹质量：不同 domain adaptation 配方做蒸馏后，比较学生的 specialization-generalization profile，无需额外 reasoning label 即可筛选适合线上均衡的 teacher 版本。
- 在导购/客服 Agent 的推理链生成场景中，可通过控制专家模型的 distributional drift（如限制训练步数、增加 KL/通用回放）来主动调整下游 agent 的领域精度与通用能力保留，避免部署后才发现泛化崩坏。
- 跨模型家族、多语言结果的强相关性说明：多语言电商或跨域蒸馏时，专家模型的隐式选择会遗传给学生，可用同一探针方法做跨语言一致性检查。
理解LLM微调中记忆知识为何难以泛化的机制
🧭 LLM微调 · 知识泛化与电路错位
HKUST(GZ) · HKUST
揭示“知用鸿沟”：记忆的表示存在但未路由到有效计算层，提出自修补干预可恢复58-75%的泛化失败
📌 工作参考价值（4 点）
- 微调注入新知识后推理失败的诊断：在电商/Agent场景中，若微调后模型能记忆商品属性但无法正确回答组合推理（如“哪个去年发布的手机拍照最好”），可通过自修补（self-patching）分析内部激活定位，找出哪些层的表示未参与推理，指导后续模型优化。
- 无需重新训练即可部分修复推理：采用简单的启发式规则（如将某些层的记忆表示转移到关键计算层），可快速恢复泛化能力，适合在线知识更新后紧急修复推理表现，成本低。
- 微调策略的启示：设计训练损失时，应考虑让与推理相关的深层也参与记忆表示的学习，或加入辅助任务迫使知识表示向有效计算层对齐，避免“知用鸿沟”。
- 模型调试工具：自修补方法可作为内部调试工具，用于持续集成测试中自动检测新知识注入后的推理衰退，降低线上事故风险。
离线强化学习泛化：悲观结构比悲观程度更重要
🧭 离线RL泛化 · 悲观结构对称性
Delft University of Technology
在上下文MDP中，悲观结构的对称性而非悲观程度，决定了离线RL最优泛化；建议用策略提取一致性增强。
📌 工作参考价值（4 点）
- 设计离线策略学习时，优先考虑数据覆盖的结构对称性，而不是盲目调节保守系数。
- 数据增强不应仅用于扩充训练集，更应通过策略提取阶段的一致性损失注入对称归纳偏好，尤其适用于已知旋转、平移等对称性的推荐/Agent环境。
- 若业务场景存在对称性（如用户偏好对商品类别旋转不变），可显式约束价值函数对称，以提升泛化。
- 离线训练Agent时，避免在增强数据上直接做价值迭代，改用先离线训练再策略提取时加入一致性正则，能更稳定地利用增强。
从近似到涌现：深度学习理论统一框架
🧭 深度学习理论统一框架
Sun Yat-sen University
系统梳理深度学习理论，从经典近似、优化、泛化到现代涌现现象，构建统一研究叙事
📌 工作参考价值（4 点）
- 本书为纯理论综述，业务可借鉴点有限。
- 关于 scaling laws 和 emergence 的理论分析可辅助理解大模型在推荐系统中的行为：随着模型规模和数据量增长，性能可能出现跃升，指导资源投入策略。
- 泛化与鲁棒性理论可应用于推荐模型的离线评估与线上风险控制，尤其面对分布偏移时。
- 机制可解释性理论为推荐模型的特征重要性归因、内部行为诊断提供思想框架，有助于提升模型可信度。
智能体能否泛化到开放世界？揭示工具使用中静态训练的脆弱性
🧭 Agent 工具使用泛化与鲁棒性
Nanjing University
发现静态训练的工具使用智能体在开放环境分布偏移下性能脆弱，并提出扰动增强微调策略增强鲁棒性
📌 工作参考价值（4 点）
- 电商智能助手/广告投放 Agent 的鲁棒性设计：在真实业务中，用户查询、工具接口、返回数据格式会频繁变化。论文的四层偏移（感知、交互、推理、内化）框架可直接用于梳理生产环境 Agent 的脆弱点，例如商品描述变化（感知偏移）、API 参数重命名（交互偏移）、促销规则修改（推理偏移）、知识库更新（内化偏移）。
- 训练阶段引入数据扰动：借鉴扰动增强微调策略，在 SFT 阶段针对查询改写、工具说明扰动、观察噪声等构造对抗样本，低成本提升 Agent 对线上突发变化的容忍度，避免频繁重训。
- 评估测试集设计：构建类似沙盒环境，按分布偏移等级设计回归测试集，用于持续监控上线 Agent 的泛化能力，尤其在新品类、新营销工具上线时把关。
- 多维度泛化诊断：论文的四层层次化偏移可作为多维度 QoS 指标，指导 Agent 在搜索推荐场景下（如商品智能推荐对话、投放策略多步推理）的优化方向，明确是哪个层次出现问题。
“连接点”：用RL训练长生命周期Agent的跨域泛化
🧭 Agent 长生命周期元能力训练 ★ 深度解读
Alibaba Group
提出 CoD 框架，用端到端 RL 训练 LLM 在长序列任务中自我更新上下文，实现跨域泛化
📌 工作参考价值（4 点）
- 长周期交互的Agent训练范式：推荐/广告场景中的对话式Agent需在多个会话中持续积累用户偏好，可借鉴 CoD 的「解决任务 + 更新上下文」交错部署模式，训练模型主动维护并利用对用户或环境的记忆。
- 信用分配技巧：采用动态规划思想，将每集回报定义为当前及未来任务奖励的均值，并以同位置轨迹均值作为基线计算优势，可迁移到多步推荐优化中，缓解长序列信用稀疏问题。
- 探索激励环境设计：通过隐藏关键信息（如动作映射）制造信息瓶颈，迫使模型主动探索，可用于构造模拟用户意图欠明确场景的训练集，提升 Agent 的主动信息获取能力。
- 合成环境到真实业务的迁移：实验显示在简单游戏环境中训练的元能力能泛化到终端仿真任务，业务中可尝试在低成本合成环境训练长生命周期能力，再迁移到真实业务 Agent。
后训练如何塑造生物推理模型
🧭 多阶段后训练与泛化权衡分析
Harvard University · Google DeepMind · Google Research
系统分析CPT、SFT、RL对生物推理模型泛化的不同影响，表明ID/OOD权衡取决于阶段组合而非单调提升
📌 工作参考价值（4 点）
- SFT 过拟合警告：SFT 持续提升分布内 (ID) 效果，但分布外 (OOD) 性能会在早期达到峰值后下降。推荐系统微调时需监控 OOD 指标，避免过度适配训练用户/物品分布。
- RL 恢复泛化：在强 SFT 检查点上加 RL（奖励信号与任务对齐）可提升 OOD 并部分恢复泛化。对电商搜索/推荐中的个性化与冷启矛盾，可设计 RL 阶段来对冲过拟合。
- 训练预算分配：固定总训练成本下，短 SFT + 大 RL 预算的 ID-OOD 权衡最佳。实际落地时，可优先保证 SFT 收敛早期即切换 RL，而非一味延长 SFT。
- 阶段非对称适配：不同阶段对模型容量要求不同，CPT 受益于大模型，而 SFT/RL 增益更依赖质量。在大模型推荐系统中，可先 CPT 对齐领域语言，然后用少量高质量 SFT 和充足 RL 调优。