规则记忆：对话代理的主动规则归纳与推理
🧭 Agent 长对话记忆规则化推理 ★ 深度解读
Sun Yat-sen University · The Hong Kong University of Science and Technology (Guangzhou) · Shenzhen Institute of Computing Sciences · The Hong Kong Polytechnic University · Tsinghua University
将对话历史归纳为自然语言 Horn 子句规则，用 perplexity 一致性过滤并指导证据召回与推理，显著提升长对话 QA 准确率
📌 工作参考价值（4 点）
- 从用户历史交互中归纳行为规则（如“用户买过 A 后常会买 B”），作为可复用推理模板，可指导召回和排序，缓解语义鸿沟。
- RPC 验证机制可用于任何 LLM 生成的规则/知识，通过 perplexity 降低评估支持度，过滤幻觉和过泛化规则。
- 将 Horn 子句作为推理骨架，与事实分离，可在推荐解释或对话式推荐中提供显式逻辑链，增强可信度。
- 工程上可以将事实存储与规则存储分层，规则层承担“抽象先验”，在查询时先激活规则再召回事实，降低无关噪声。
Headroom-Drift Replay：GRPO 中的原则性重放控制原语
🧭 GRPO 重放控制 · 样本选择
Department of Artificial Intelligence, Sogang University
将 GRPO 重放控制拆为按剩余学习价值排序的 Headroom 与按策略兼容性门控的 Drift，不改动 on-policy 流即减少交互成本。
📌 工作参考价值（4 点）
- 在需要昂贵环境/用户交互的 RL 训练（如 Agentic Search、对话推荐、广告策略优化）中，可引入两层重放控制：先用 Headroom 对历史 trajectory group 按剩余学习价值排序，再用 Drift 过滤与当前策略偏差过大的样本；保留 on-policy 新鲜流不变，避免大规模改动训练管线。
- 把重放选择从训练 pipeline 中解耦成独立原语，方便在已有 GRPO/RLVR 代码上快速实验：只需修改 buffer 采样入口，无需加蒸馏、重要性加权或混合策略优化。
- 如果业务中 rollout 成本主要在环境交互而非模型推理，优先评估 replay 的 wall-clock 收益；该工作表明在 Agentic Search 中可比质量下显著降低耗时，适合交互式/仿真器昂贵的推荐智能体场景。
- 注意 group-level 而非单条复用，保持 GRPO 比较组结构；复用时按 group 整组排序和过滤，避免破坏相对优势信号。
黑盒 LLM 观察器在共享端点上的可靠性失败：预注册审计
🧭 LLM-as-Judge 测量可靠性审计
School of Electronic and Electrical Engineering, University of Sheffield · R&D Department, Ranplan Wireless Network Design Ltd. · R&D Department, Cambridge AI+ Ltd.
审计 52,988 次 LLM judge 请求发现同名共享端点重复/次日排名一致性远低于预设门槛，并定位三类失效机制
📌 工作参考价值（4 点）
- 在推荐/广告/搜索链路上用 LLM judge 做离线评估、生成样本筛选或 reward 打分时，别把单次 LLM 排名当稳定信号；先对同一批样本做 byte-identical 重放，计算 Spearman/test-retest 并预设门槛，验证“仪器”再冻结 gate。论文显示约 2% 调用量的 pilot 即可提前暴露不可达门槛。
- 共享 API endpoint 的 LLM judge 不是 frozen instrument，provider metadata（model name、seed、temperature 等）都预测不了稳定性；若评估结果会回灌训练或影响线上 gate，pipeline 需要增加跨时间窗一致性监控，不能只看 schema/hash 等工程指标。
- 减少 exact-permutation/精细化排名读数的放大效应；对商品文案、query 推荐、广告标题等排序/评分任务，建议多次重复测量或改用更粗粒度偏好判断，并意识到真实候选差异可能低于仪器噪声。
- 自部署 batch-invariant kernel 仅在低并发 quiet 时更稳定，并发负载会让不一致放大 8.4 倍；关键评估可以自托管并控制并发，但仍需做重放校准。
后训练目标如何重塑拒绝电路与转向鲁棒性
🧭 LLM 安全对齐与机制可解释性 ★ 深度解读
Macquarie University
比较 SFT、Ra-SFT、ORPO 三种后训练方法，发现训练目标而非数据重塑拒绝计算，且无一同时满足分布式编码、安全/效用可分离、细粒度可纠正
📌 工作参考价值（4 点）
- 在搜索推荐/Agent 场景使用 LLM 时，安全后训练不能只盯 ASR：ORPO 安全最强但易过度拒答（Gemma ORPO XSTest ORR 31.6%），会误杀合法 query、系统运维或广告文案生成。应同时评估 XSTest 类 over-refusal，并按业务敏感度选择 SFT/Ra-SFT/ORPO。
- 对 LLM 上线前的安全评估，可借鉴其 circuit-level 归因：检查 refusal 是否集中在少数 attention heads 或 MLP。若集中在 attention heads，模型对语义改写类攻击（happy_to_help、role_play）更脆弱，这正是搜索 query 被恶意改写时常见的风险。
- 若做在线安全干预或 activation steering，优先选择 recognition-layer 而非 execution-layer：Gemma Ra-SFT 在 recognition 层 steering 降低 ASR 18.8pp，而 execution 层仅 5.8pp，且对 MMLU 损害更小。这提示可用轻量 steering 做 Agent 流程中的安全过滤，但需先验证架构与训练目标。
- Ra-SFT 引入 reasoning chains 后，拒绝电路更分散、可纠正性更好，但推理开销上升；在低延迟搜索/推荐链路中需权衡。若对响应质量要求高，可考虑用短 reasoning 或只对高风险 query 触发 Ra-SFT。
混合专家架构的统计理解：路由、稀疏激活与共享专家的风险界
🧭 MoE 统计学习理论 · 稀疏路由与共享专家 ★ 深度解读
Tsinghua University · East China Normal University · Beijing Institute of Mathematical Sciences and Applications
用局部化聚合视角统一分析 MoE，给出稠密/Top-K 路由与共享专家的 oracle 风险界
📌 工作参考价值（4 点）
- 在推荐排序模型用 MoE 时，把共享专家设计为全场景/全域公共塔，路由专家只学不同场景、人群或物品类的残差；可减少路由专家重复学习公共模式，降低有效复杂度并稳定训练。
- 做大容量稀疏 MoE 时不要只加专家数 M：理论显示近似误差随 M/K 的 1/d 次方下降，但路由估计代价约 M d/n log(M d n)，应结合线上数据量选择 M 和 K，避免专家数远超样本可支撑规模。
- Top-K 路由对边界敏感：高维稀疏特征下线性路由容易在决策边界附近频繁切换 active expert；可加入路由参数分离正则/边界稳定性约束，并监控 mini-batch 上 active set 稳定性。
- 可将论文中的“离散化候选路由 + 在线指数加权聚合”作为路由蒸馏或稳定化 baseline，不直接依赖端到端非凸联合优化，也能得到可解释的路由不确定性。
HypRQ-VAE：面向长尾感知生成式推荐的双曲语义 ID 索引
🧭 生成式推荐 · 语义ID · 双曲空间 ★ 深度解读
Virginia Tech · Amazon · Meta AI · Google · Dartmouth College
首次将双曲空间残差量化 VAE 用于生成式推荐语义 ID，显著提升长尾物品推荐
📌 工作参考价值（4 点）
- 语义 ID 生成可把 RQ-VAE 从欧氏空间换成 Poincaré ball + Möbius 减法/加法，无需额外正则即可让 codebook 使用更均衡，对尾部、新品 item 更友好。
- 长尾收益明确：按 H20/T80 划分评估，Hit@10 在尾部提升 17.24%-52.71%，推荐列表尾部占比提升约 8-10 个百分点；建议上线前对尾部流量单独做指标拆分。
- 碰撞处理可直接复用：对冲突 item 构建距离张量，从最后一层向上做 nearest-available token 分配，比额外 ID 或正则更干净，适合电商大目录 item 压缩。
- 工程配置可参照：Stage1 用 Adam lr=1e-3、L=4、K=256；Stage2 用 LLaMA2-7B + LoRA r=8/alpha=32/dropout=0.05，配合 Trie 约束解码 beam=20。
继承式 Agent 记忆预算验证中的计划指针与记录指令形式
🧭 Agent 记忆检索的指令形式消融
Glasp
用 12 项注册实验（14,760 次尝试）量化 memory store 中 criterion 与 id 等 directive 形式如何改变 budgeted agent 拉取哪条记录
📌 工作参考价值（4 点）
- 在预算有限的 Agent 记忆/知识库检索里（例如商品库、用户历史记录），优先把“去哪找”写成可判定的 criterion，而不是裸 ID：六个模型上长度匹配的 criterion 比 bare id 平均高 +35.0 个百分点。
- 不要在 criterion 后追加 ID：在 Claude 三个模型上 ID 后缀会把 criterion 效应完全取消（Opus 5 从 40/40 掉到 0/40）；若必须同时给出，可测试显式 ratification line + 两信用预算来恢复。
- Prompt 的微小改动即可改变 Agent 拉取哪条记录：单字符 plan pointer 效应 +78.0/+81.7 pts，六个字节匹配编辑也各有独立效应；生产上要对 memory/directive 模板做版本控制并针对关键行为回归。
- 结果跨模型/API 不稳定：OpenRouter 九模型未复现直接 provider 面板的 criterion 优越性；80 runs 重跑中 15/30 对比仍在误差内或未解决。建议在自有模型组合与 store 内容上做注册式 A/B，避免把单一 provider 结论直接泛化。
可读性不等同于可解释性：比较 CoT 推理中判断重要性与实际重要性
🧭 CoT 推理步骤重要性的可解释性评估
ETH Zürich · MIT · Cohere
实证表明 CoT 步骤文本只部分编码其功能重要性，LLM judge 与微调 critic 识别高优势步骤能力远低于噪声上限。
📌 工作参考价值（4 点）
- 在电商/Agent 场景中用 LLM 评判推理步骤或生成过程（如诊断错误、提供中间奖励）时，要警惕文本看起来合理但实际未必对应功能重要性：文本可读性不等于可解释性。
- 过程奖励模型（PRM）在正确响应上识别关键步骤能力有限，建议不要仅依赖 PRM 做细粒度信号，可结合蒙特卡洛 rollout 估计的 advantage 作为更可靠的地面真值。
- 如果需要训练步骤级 critic，注意其对错误样本提升明显，但对正确样本效果欠佳；可考虑将 critic 用于纠错或筛选而非全面解释。
- 在生成式推荐或 Agent 流水线中，对中间步骤做剪枝或加权时，基于文本判断的权重可能不可靠，需要验证“看起来关键”的步骤是否真的影响最终结果。
链式思维表象之下：LLM推理操作的机制性解释
🧭 推理操作表示几何与机制分析
KAIST · NAVER AI Lab
发现CoT中的问题表述、目标分解、演绎等操作在隐藏表示中可分离，中层最显著并依赖前文推理上下文
📌 工作参考价值（3 点）
- 在 Agent / 搜索推理链路中，可以对 LLM 隐藏状态使用轻量线性探针识别当前是「问题表述 / 目标分解 / 演绎」阶段；中层特征最有效，可用于推理步骤质量监控、异常检测或动态路由，无需完整解析文本。
- 如果做长 CoT 缓存 / 截断、KV cache 压缩，不能只保留最近片段或表层 token：前文推理上下文对后续 chunk 起始的 operation-aligned 表示很重要，否则会破坏阶段一致性。
- 相同表层 token 在不同推理操作中表示不同，说明下游使用 CoT 表示或 embedding 复用时，应按「推理操作上下文」而非字面 token 设计状态表示；这对多阶段推荐 Agent 的 context 工程有参考价值。
两阶段强化学习生成可靠对抗测试用例提升代码 LLM
🧭 代码 LLM 测试生成 · 对抗 RL
Nanyang Technological University, Singapore · Skywork AI
提出两阶段 RL 测试生成框架 TCS，先学可靠测试再对抗生成反例，提升代码生成 pass@1 与答案选择
📌 工作参考价值（4 点）
- 若业务任务具备可自动验证的 reward（如商品属性合法性、SQL 可执行、Promo 规则检查、点击/转化模拟器），可借鉴 TCS 两阶段生成器：Stage 1 贴近参考解/规则生成合法样本，Stage 2 针对线上模型常见失败模式生成反例，用于训练更鲁棒的排序/生成模型或筛选候选。
- 将测试生成器作为可学习的 critic：在电商 Agent 或推荐 query/文案生成中，训练一个判别器为候选输出打分，替代或辅助人工评审；用当前策略的失败样本构造滚动缓冲，持续挖掘 hard negatives，提升候选筛选的区分能力。
- 推理时选择：生成多个候选推荐理由/搜索 query/广告标题，用学到的检查器自动过滤不合格输出，降低低质量内容上线风险；类似无参考评估，适合在线管道。
- 注意领域差异：代码执行反馈明确且低成本，电商反馈（点击/转化）噪声大、延迟高，需用离线模拟器或业务规则先构造可信 reward，不宜直接照搬对抗 RL 的完全在线迭代。
LLM 品牌推荐重复查询审计的 Dice Roll 标准化协议
🧭 LLM 重复查询审计协议
Department of Information Technologies, Estonian Entrepreneurship University of Applied Sciences (EUAS), Tallinn, Estonia · Rankfor.AI, Tallinn, Estonia
为 LLM 品牌推荐重复查询审计提供统计可靠性迭代标准与指标组合，外部验证 37/39 单元复现
📌 工作参考价值（4 点）
- 在内部评估 LLM 推荐品牌/商品稳定性时，直接套用三档迭代标准：探索性 n=5（G=0.58）、确认性 n=10（G=0.74）、严格 n=15（G=0.81），结合 Cliff's delta 效应量阈值做决策，避免拍脑袋定重复次数。
- 用多指标 battery 替代单一指标：同时统计 count（出现频次）、set（集合重叠）、embedding（语义相似度）、fairness-adjusted PASOR（公平调整），警惕只盯准确率或 top-1 的误导。
- 处理 LLM 输出的计数或离散品牌分布时，用 negative-binomial mixed model 加依赖保持 bootstrap，而不是正态假设的 t-test；token 采样导致的过度离散会很严重。
- 对 prompt 改版、模型升级或温度参数调整，可以引入 KS 检验和 PSI 漂移诊断，在 pinned model snapshot 上监控输出分布变化，防止无声漂移破坏推荐一致性。
LLM4AIGQ：面向多兴趣挖掘的AI引导查询生成框架
🧭 生成式query推荐 · 多兴趣LLM ★ 深度解读
Huazhong University of Science and Technology · Alibaba Group · Nankai University
用SFT-RL-DPO三阶段训练LLM，从多行为序列中分解多兴趣并生成高价值引导query，线上nearline生成+在线检索
📌 工作参考价值（4 点）
- 用教师模型（更大LLM）对历史行为序列做兴趣分割并生成引导query，再让小模型SFT学习单兴趣风格，避免直接多兴趣SFT导致的模式坍缩；可迁移到电商搜索词推荐、push文案生成等场景。
- RL多层级奖励设计：将think过程匹配、query长度与商业价值（judge模型S/A/B评级）、兴趣内语义与风格多样性、兴趣间内容多样性分开奖励，用GRPO优化；这种细粒度奖励拆解适合多目标生成式推荐任务。
- DPO蒸馏推理能力：用RL checkpoint的think输出作为正样本，非think输出作为负样本，并过滤语义相似度高的pair，实现非think模式下的推理能力迁移，大幅减少线上推理token，降低延迟。
- 工程部署：nearline生成+在线检索映射表，每N次交互触发LLM生成query写入表，在线直接检索；同时用LLM对item标题做短标题压缩，输入token减少26.8%，RT降低10.7%，值得在LLM serving中复用。
LLM推荐的认识论保证：在无真值条件下刻画依赖依据
🧭 决策级LLM推荐可靠性评估
University of South Florida, Muma College of Business · New York University
提出可操作的决策级认识论保证框架，将LLM两两推荐分为四层依赖证书并验证其有效性
📌 工作参考价值（4 点）
- 在电商/推荐Agent中，对LLM生成的排序或推荐理由进行多轮采样与prompt扰动，统计候选偏好是否稳定；将跨上下文一致的推荐标记为broadly supported，低warrant的推荐降级或仅作参考。
- 不要依赖模型的verbalized confidence（如“我很有信心”），论文表明epistemic warrant提供不同信息；在线决策中需单独计算决策级稳定性指标，而不是只取输出token概率。
- 对context-dependent的推荐可触发额外验证，如A/B测试、人工审核或规则兜底；在冷启动或长尾等无ground truth场景，可为每个推荐附上reliance certificate，帮助下游Agent决定是否执行。
- 在审计面板或管理工具中输出四层warrant标签，便于业务方按风险等级使用LLM推荐，而非依赖全局阈值。
模型过度编辑：代码最小修改保真度研究
🧭 LLM 代码修复 · 编辑保真度
National University of Singapore
提出可度量的编辑保真度指标，发现LLM普遍过度编辑，保留指令与RL训练能有效减少不必要修改
📌 工作参考价值（4 点）
- 在推荐/广告系统中用 LLM 自动修改策略配置、特征代码、SQL 或推荐逻辑时，要求模型只做必要修改、保持原有结构，可显著降低 review 成本和意外行为风险。
- 设计自动修复/优化 Agent 时，把 '编辑距离' 或 'diff 大小' 作为质量指标，而不只看正确性（如单测通过/线上效果），防止 Agent 大面积重写导致难以审查和回滚。
- 后训练选择：如果业务要求对未见过的新错误/新场景保持最小改动和性能，RL 比 SFT 更稳健；SFT 容易过拟合训练中见过的损坏模式，域外泛化差。
- 评估框架可迁移：构造带已知最小补丁的合成损坏任务，用于系统性地度量 Agent 的编辑保真度，并纳入离线回归测试。
Occamy-1.0：面向协同工作的开源帕累托前沿35B智能模型
🧭 协同工作Agent模型后训练
Accio Team
开源35B协同工作模型，通过执行接地数据和分阶段后训练实现成本效率帕累托最优
📌 工作参考价值（4 点）
- 成本效率优先的模型选型：在业务中构建Agent时，可采用低参数MoE架构（如35B-A3B）替代超大模型，在保持工具调用、编码等能力的同时显著降低单次调用成本，适合电商场景中大量并发的商品信息查询、订单处理等任务。
- 执行接地数据构建：借鉴其采集真实执行轨迹并重放的方法，在电商Agent训练中记录用户与Agent的完整交互序列（包括工具调用、状态变更、错误恢复），作为后训练数据，可提升模型在长流程任务中的状态跟踪与协调能力。
- 分阶段后训练：将能力拆分为信息收集、工具使用、编码、文件操作等模块，分阶段注入训练数据，逐步巩固，避免灾难性遗忘，适合在现有基座模型上迭代增强特定Agent技能。
- 全流程成本评估：在评估Agent模型时，除accuracy外，应统计整个episode的累计token成本与延迟，绘制成本-性能帕累托曲线，选择位于低拐点的模型部署，而非仅看单点benchmark分数。