多域中期训练中每域覆盖最优与对齐抗性域差距
🧭 训练数据配比与领域覆盖优化
证明各域覆盖率存在内部最优区间，且中期训练的域差距难以被后续SFT修复
📌 工作参考价值（4 点）
- 多域/多任务数据配比存在非单调最优：业务中的多域推荐或LLM微调，不应简单按数据量加权或追求某域越多越好，10%–40%的覆盖率区间普遍较优，可用小规模单形扫描实验（simplex sweep）确定各域峰值位置。
- 中期训练的数据构成难以靠后续SFT弥补：如果业务系统分阶段训练基础模型和任务模型，早期数据配比造成的领域差距不会在对齐阶段自动消失，必须把数据混合策略前移到中期训练阶段。
- 零覆盖的代价与通用漂移混淆：完全放弃某域会导致该域能力崩溃，但需要设置通用数据控制组（如FineWeb-Edu-only）区分是域缺失还是通用分布漂移，避免误判。
- 探索性θ*配比思路可复用到推荐模型训练：在多个候选数据配比中做端到端全流程评估，选择全流程增益最大的配比，即使单域统计不显著，也可能带来整体提升。
Experience Funnel：自进化智能体的状态-策略交替循环
🧭 自进化 Agent 状态-策略交替蒸馏 ★ 深度解读
The Hong Kong Polytechnic University · Huawei · Renmin University of China
用状态-策略交替循环把显式经验渐进蒸馏进参数策略，同时保留快速可编辑状态
📌 工作参考价值（4 点）
- 把线上 Agent 的 prompt/skill 显式状态与模型参数策略拆成两层：先用 held-out 验证门控快速更新 skill，再离线周期把反复有用的 skill 蒸馏进小模型，降低线上 context 长度和推理成本。
- 用三态对比（state-free / previous-state / updated-state）挑选要固化的样本，只保留 newly useful 和 persistently useful 轨迹，避免把噪声或模型已会的行为蒸馏进参数；电商导购/客服 Agent 可用点击、转化等 reward 做类似增量过滤。
- 做 token-level 归因蒸馏：用有状态/无状态两路概率的 JSD 定位真正被 skill 改变的 token，只给这些位置更高权重，比整条轨迹均匀蒸馏更数据高效，适合把大模型教师或 prompt 增益迁移到在线小模型。
- 固化后的策略仍需保留少量 residual state 才能拿到最大值，说明显式信息不能一次性全部内化；实践中应保留轻量 state/skill，待下一轮验证后再决定淘汰或更新。
工具检索器被低估：标注扩展揭示真实能力
🧭 工具检索评估 · 标注扩展
Shenzhen International Graduate School, Tsinghua University · Peking University · Meituan, Beijing
提出ToolEX自动发现功能等效工具组合，扩展基准为ToolEQ，证明一对一标注系统性低估检索器，微调增益中30-47%是评估伪迹
📌 工作参考价值（4 点）
- 评估召回/检索系统时，若 query 存在多个等价结果（如同义商品、替代品、功能相同工具），单一 ground truth 会低估模型；可借鉴 ToolEX 做等价扩展，构建更公平的测试集，避免误杀有效召回。
- 微调收益评估需警惕标注缺陷：论文发现 30-47% 的微调提升是评估伪迹。建议上线前用扩展后的多正例评估集复测，量化真实增量，尤其当训练数据与测试标注同源时。
- ToolEX 自动发现等价工具组合的流程（生成候选 + 功能等价验证）可迁移到电商搜索/推荐：对同一 query 挖掘多条等价商品、广告或服务组合，用于多正例学习或评估鲁棒性。
- 如果业务中做 Agent 工具检索或 API 推荐，注意同一功能通常有多个实现，检索评估与训练不能基于一对一的刚性标注，需支持一对多映射。
基于隐藏状态相对表示的参考式 LLM 偏见检测
🧭 LLM 偏见审计·相对表示
NASK - National Research Institute, Poland · Warsaw University of Technology, Poland · Gdańsk University of Technology, Poland
用隐藏状态与锚点句的相似度构建相对表示，在共享空间中度量微调前后偏见偏移 ΔB
📌 工作参考价值（4 点）
- 可用于业务模型上线前/微调后的低成本偏见回归监控：不依赖输出级标注或裁判模型，直接对 checkpoint 隐藏状态做 ΔB 检测，约 3 分钟完成，适合 CI 流程。
- 在电商推荐/广告文案生成等场景，可借鉴相对表示方法，用固定锚点句集合编码不同群体/属性，快速审计模型对性别、地域、品牌等的隐含关联漂移。
- 对 LoRA/PEFT 微调尤其注意：结果更依赖模型，建议结合输出级评估使用，不要单独作为放行标准。
- 若业务中已有针对敏感群体的句子模板，可将 ΔB 作为模型迭代时的内部指标，与输出 A/B 测试互补，提前拦截高风险检查点。
检索增强生成中用于幻觉检测的证据对齐实体验证
🧭 RAG幻觉检测·实体证据对齐
University of Technology Sydney
提出 EAEV，在实体层面用 RAG 对齐生成与检索证据，结合三维对齐评估和反事实稳定性分析，一致提升 RAG 幻觉检测性能
📌 工作参考价值（4 点）
- 在电商商品文案/搜索结果生成中，可借鉴实体级幻觉检测：将商品属性（品牌、型号、参数）作为实体，逐项验证生成文本与商品知识库/活动规则的证据对齐，比整体一致性打分更细粒度、可定位错误属性。
- 采用多维度对齐信号：可设计“实体是否在证据中出现”“实体上下文是否一致”“实体关系是否冲突”等互补指标，结合轻量规则或分类器进行 RAG 输出校验，适合低延迟的线上 Agent 回复。
- 反事实稳定性分析可迁移为回归测试：对检索到的证据文本做小扰动（替换同义词、增减片段），要求生成关键实体保持稳定，若翻转则标记高风险幻觉，提升对检索噪声的鲁棒性。
- 用 RAG 做幻觉检测而非仅生成，可解决模型参数知识过时的问题，特别适合电商频繁更新的价格、库存、促销等时效性知识。
可编程世界模型
🧭 世界模型 · 显式状态与渲染解耦
Alaya Lab
将世界状态演化与视频生成解耦，用可执行程序维护持久全局状态，以3D OBB为中间表示驱动预训练视频模型
📌 工作参考价值（4 点）
- 在生成式推荐或广告文案生成中，可借鉴“显式状态引擎 + 生成渲染器”的架构：将库存、价格、用户状态等业务规则放在符号化状态机中维护，LLM 只负责生成符合当前状态的文案/推荐理由，避免长对话或多步推荐中事实不一致。
- 用 LLM 将自然语言策略转成可执行程序（如 on_hit、win/lose 规则）的思路，适合推荐策略的自动化编排：把运营规则（如“库存低于阈值则降低曝光”）用程序表达，可审计、可回滚，比直接让模型隐式学习更可控。
- 中间表示的做法——将结构化状态（如商品布局、用户行为序列）编译为生成模型的条件信号，可用于可控商品图/视频生成，提升布局、属性与业务约束的像素级对齐。
- 评估基准设计可迁移：对交互式推荐/对话系统，可采用 Count Accuracy 和 State Accuracy 这类细粒度状态一致性指标，衡量长程交互中的用户状态、上下文跟踪能力。
LLaDA-UI：将分块扩散引入视觉语言GUI智能体
🧭 Agent · 分块扩散多模态模型
AGI Research Center, Inclusion AI · Venus Team · Westlake University
提出16.7B MoE分块扩散视觉语言GUI智能体，在多个GUI基准上超越Qwen2.5-VL-7B并在4/6基准上超过Qwen3-VL-8B
📌 工作参考价值（4 点）
- 分块扩散解码的并行性可降低端到端延迟，适合需要实时感知屏幕并快速决策的 Agent 场景（如自动操作商品后台、客服工单处理、广告账户管理）；可在小规模任务中替换自回归解码验证扩散解码的加速效果。
- 两阶段训练策略（通用多模态预训练 + 领域 SFT）可复用于训练电商多模态 Agent：先对齐视觉与语言，再用业务 GUI 数据微调，无需从零构建视觉语言模型。
- 原生分辨率视觉编码器对细粒度 UI 元素定位重要；电商场景中商品图、广告素材上的小文字/按钮/价格可能被降采样丢失，采用原生或高分辨率编码可提升 grounding 精度。
- MoE 架构使 16.7B 总参数在多个 GUI 基准上超过同量级/更大稠密模型，在可控激活成本下保持性能，对需要并发处理大量 Agent 请求的业务有成本优势。
MeClear：基于合作博弈归因与风险感知记忆清除的长程 LLM 智能体框架
🧭 LLM Agent 长期记忆清理与归因
Fudan University · Beijing Institute of Technology
用合作 Shapley 归因识别负效用记忆并做最小化清除，任务恢复率 82.3%，比 LOO 高 25.5 个百分点
📌 工作参考价值（4 点）
- 在电商/Agent 长期用户记忆（偏好、历史行为）中，不要只按 embedding 相似度检索；可以对候选记忆做留一法或 Shapley 效用归因，识别“语义相关但实际降低决策质量”的记忆后再过滤。
- 对于多证据交互产生的冲突或冗余，单条删除往往不敏感，可借鉴采样 Shapley 分摊效用，定位需要同时抑制的记忆组合；工程上适合离线/近线计算，避免在线高成本。
- 采用“暂态清除”而非永久删除：查询级最小清除 + 清除后上下文验证任务恢复，避免污染持久记忆库，便于线上 A/B、审计和回滚。
- 可抽象成 memory gate/scrubber 模块：在 RAG/Agent memory 召回后、拼入上下文前加一层 risk-aware memory clearance，保持召回 recall，同时提升下游稳定性和任务完成率。
MetroLLM-Bench：评估语言模型作为交通售票机运行时的基准
🧭 LLM 工具调用与策略决策基准评估
Continker
955 例交通售票机工具调用基准，4B PEFT 模型在 Tier1 上超越 GPT-5.6 且部署成本极低
📌 工作参考价值（4 点）
- 规则引擎 + LLM 补充：先用确定性规则覆盖标准场景，仅将政策调整、复合场景、无障碍等边界 case 交给 LLM，可降低延迟与成本，同时利用 LLM 灵活适应业务规则变化。
- 小模型 PEFT 已够用：在特定领域工具调用任务上，4B 模型经 PEFT 可匹配甚至超越大模型，且 PEFT 增益随模型尺寸增大而递减；业务中可优先微调小模型而非追求大参数量，显著降低硬件与部署成本。
- 分层评估体系：将任务分为确定性 Tier1（自动评分）和语义 Tier2（LLM judge），并发布标准化 harness；在电商 Agent、推荐解释生成等场景可借鉴，先保证结构化动作正确，再评估语义质量。
- 机器可渲染终端状态：要求模型输出结构化、可直接执行的状态（如 action、quote），避免自由文本；这对生成式推荐（如直接生成 Semantic ID 或排序指令）有直接参考价值。
面向临床语言模型的确定性数学求解器
🧭 LLM 工具调用 · 代码执行器
MIT Critical Data · UNC Chapel Hill · University of Pavia · Humanitas University
Program-Solve 让 LLM 写 Python 交由受限执行器计算，32B 模型在 MedCalc-Bench 准确率从 83.47% 提升到 90.53%
📌 工作参考价值（4 点）
- 在电商/广告场景中，凡涉及数值计算（ROAS、LTV、预算分配、出价、统计显著性），不要让 LLM 直接做算术；改为让 LLM 生成 Python 片段，由受限沙箱执行，返回确定性结果。可参考 Program-Solve 的 prompt 设计：提供公式与变量字典，要求模型只写计算逻辑。
- 该方案对模型规模敏感：7B 提升 3.29 点但置信区间跨 0，32B 提升 7.05 点且显著。业务落地时如果用小模型，需要先验证代码生成质量，不能默认“加执行器一定好用”。
- 工程上可复用受限本地执行器的设计：限制 import 集合、单次超时、内存上限，并将公式/变量以 JSON 传入，避免 LLM 直接输出数字；在广告出价或推荐收益预估中同样可建立公式库作为受控资产。
- 论文提醒：公式版本和变量抽取是瓶颈，即使有 gold variables，7B 仍因代码 bug 或误解丢分。电商复用时应把业务规则（如优惠计算、佣金规则）维护为版本化配置，不依赖 LLM 记忆；变量抽取单独做，别和计算耦合。
Q2D-Web：面向 Agentic RAG 的大规模检索基准
🧭 Agentic RAG 首阶段检索评估 ★ 深度解读
Perplexity AI
构建 190M 文档 / 70k agent 改写查询的私有检索基准，发现全量评估排序可用 30% 子语料复现
📌 工作参考价值（5 点）
- 评估检索器必须用改写后的 query：生产 Agentic RAG 里 first-stage retriever 接收的是 LLM 改写/分解后的 query，不是用户原始 query。电商/搜索团队如果自建 RAG 或 Agent 搜索，应收集线上改写 query 构建离线评估集，否则会低估或误判检索效果。
- 多信号 qrels 降低 false negatives：单一点击或引用标签召回很低，会误伤检索器。可借鉴其做法：组合『曝光点击/成交/加购』『人工标注』『LLM judge 对未标注候选再判』成多套 qrels，分别评测并观察排序是否稳定；电商搜索尤其适合用点击、加购、成交、客服负反馈等构造多源 label。
- RRF 子语料采样加速评估：保留所有 positive 文档，用 RRF 融合多个 retriever 的 top-k 结果抽取约 30% 文档，就能保持全量排序，评估成本下降约 2/3。业务中大规模召回模型快速迭代时可以直接复用这个 trick。
- BM25 与 dense 互补明显：BM25 总 Recall 最低，但 unique positive coverage 最高，说明 lexical 和 dense 覆盖不同相关文档。电商搜索里 BM25 对品牌型号、精确实体仍是重要召回通路，建议保留 BM25 路并与 dense 结果做 RRF 融合。
- 分 query 类型/领域/语言看召回：论文显示 neural retrievers 在 agent 生成的 support queries 上明显弱于 primary queries，BM25 相反；不同品类/语言差异也大。上线前应按改写 query 类型、类目、语言分片评估，不能只看一个平均 Recall。
REDSI：解决可微搜索索引文档检索的可复现性与评估一致性问题
🧭 生成式检索 · DSI 可复现性 ★ 深度解读
Artefact Research Center · INSA Rennes, IRISA, CNRS, Université de Rennes · MICS, CentraleSupélec, Université Paris-Saclay
首个支持 DSI 三种标识符的开源实现及参数化 NQ320K 构建管道，系统分析模型缩放
📌 工作参考价值（4 点）
- 商品/文档标识符设计：如果商品库规模在几十万以内，直接使用 atomic ID（每个商品一个输出 token）可能比 semantic ID 更好，训练快、推理只需一步解码，且对模型容量下降更鲁棒；注意大规模库的输出词表扩展性。
- 数据集构建：复用公开数据集或自建检索/推荐数据集时，明确去重键（稳定 ID 如 SKU/商品ID，而非 title 或 URL），清洗文本序列化（去除 infobox、导航、特殊字符）以减少 unk token，对固定输入长度前缀影响显著。
- 训练采样比例：不要盲从原论文的 indexing:retrieval ratio，应调参。本文发现自然比例（约 1:2.8）远好于 DSI 原文的 32:1，这个超参常被忽略但影响显著。
- 解码简化：生成式检索/推荐中，在 beam search 后接 valid ID 过滤即可，无需实现复杂的 trie 约束解码；模型缩小时同样有效，可降低工程复杂度。
SequenceO1：基于低秩缓存的推荐系统端到端 100K 序列建模
🧭 超长序列推荐 · 低秩缓存 ★ 深度解读
ByteDance
用 Sketch Attention 将 100K 用户历史压缩为固定大小可缓存 sketch，结合两时间尺度 STCA 与缓存复用，实现端到端超长序列推荐
📌 工作参考价值（5 点）
- 超长历史压缩为可缓存 sketch：用 learnable prototypes + prototype-wise softmax 把 100K 行为序列压缩成固定大小（如 1K×128）的 user-only sketch。相比 token-wise softmax，prototype-wise 归一化避免早期 token 选择、保证全局覆盖，适合作为跨目标/请求复用的长期兴趣表征。电商/广告场景可直接替换 TWIN V2 这类两阶段 lifelong 模块，减少离线聚类+检索的系统复杂度。
- 训练/推理缓存复用：训练侧 local KVCache 以 userID + model version + history timestamp 为 key，TTL 失效 + 容量淘汰；同用户多请求用 MRLB 分组，只算一次 sketch。推理侧同样缓存，命中时无需再读取/传输 100K 原始特征，路径成本 O(1)。这是把长序列建模从学术可行变成生产可用的关键。
- 两时间尺度推理：近期 10K 后缀走 STCA 捕捉 recency，超长 sketch 走 STCA 捕捉长期偏好，再轻量 fusion。这个结构比单一路径更贴合真实用户行为，且近期分支成本可控。
- FlashSA 工程实现：融合 kernel 流式计算 prototype-token affinities，不物化 k×n 中间矩阵，降低显存和内存带宽。对任何需要把长序列压缩成固定表示的模块都适用。
- 对 Agent/LLM 长期记忆启发：固定大小、用户侧、可缓存的 sketch 可作为用户长期记忆压缩层，Agent 或 LLM 检索增强推荐时，可以缓存该 sketch 避免重复处理长上下文，与 pipeline lift 结合可进一步隐藏延迟。
Show-Harness：仅用 VLM Agent 通过语义接口控制机器人
🧭 VLM Agent 语义接口机器人控制
Show Lab, National University of Singapore
通过离散语义动作单元与解释器接口，让 VLM Agent 零样本或轻量微调后直接控制机器人
📌 工作参考价值（4 点）
- 借鉴“语义动作单元 + 确定性 interpreter”两层架构：让 LLM/VLM 只输出离散标准化意图标签（如 MV_FWD、GRASP），由业务侧 interpreter 落地为具体执行动作，可迁移到推荐/Agent 系统中降低模型生成复杂控制序列的出错率，同时兼容 App、网页、机器人等多端。
- 对闭源大模型直接 zero-shot 使用同一套接口，开源小模型仅需 few GPU-hours 微调即可替换，说明业务侧可保持接口不变、灵活切换底层模型，降低迭代成本。
- GUMI 的 GUI 操作采集 demonstrations 思路可复用：无需专用硬件，通过浏览器/GUI 操作轨迹构建 fine-tuning 数据，适合 UI 自动化、商品操作、Agent 行为采集等场景。
- 强调跨任务、跨 embodiment、跨环境泛化评测，建议推荐系统也构造跨场景/跨页面/跨库存的泛化测试集，避免单一环境过拟合。
通过多轮证据消融评估与改进大语言模型事实核查的证据依据性
🧭 RAG 事实核查 · 证据依赖性评估与训练
University of Sheffield
提出 FAE 多轮证据消融评估与 REAL 反事实训练，揭示 LLM 更依赖参数知识并提升证据依赖性
📌 工作参考价值（4 点）
- 在商品/广告审核、评价真实性验证等 LLM-as-verifier 场景，可用 FAE 式多轮证据消融做上线前审计：逐条移除或替换 cited evidence，观察模型预测是否翻转，识别“参数记忆强于上下文”的风险。
- REAL 的反事实证据训练可直接迁移：不只使用完整证据+标签，也构造删除支撑证据、替换为不相关或相反证据的样本，强制模型在证据缺失时改变判断，增强系统对检索质量的敏感性。
- 把“证据依赖度”作为与准确率并行的评测指标，特别适用于广告合规、商品属性校验等高风险任务，避免高准确率但弱 grounding 的 LLM 上线。
- 若在用 LLM 生成推荐理由或搜索解释，可借鉴多轮 evidence ablation 验证解释是否真实来自用户历史/商品信息，而非模型通用说辞。