从检索上下文到运行时控制：边缘RAG的自适应压缩
🧭 RAG上下文压缩与边缘推理优化
Northeastern University
实测边缘RAG中固定压缩率不可靠，中间压缩率可降GPU能耗53.2%且质量损失可忽略，主张遥测驱动的自适应压缩
📌 工作参考价值（4 点）
- 在电商/广告的RAG型助手、搜索摘要或智能客服中，检索到的商品/内容上下文越长，prefill与KV cache成本越高；可引入LLMLingua-2等轻量压缩器先剪枝，再进入大模型生成。
- 不要用固定压缩率：按query长度、上下文冗余度、当前GPU/SoC能耗或尾延迟预算动态选择压缩率，中间档位往往比固定高压缩更划算。
- 把压缩器自身的延迟与能耗计入总账；端侧或边缘部署时，只有当生成节省明显大于压缩开销才启用，7B-8B模型下生成约占90%延迟，值得压缩。
- 可采集设备telemetry（GPU功耗、KV cache占用、QPS）作为运行时策略输入，在低负载时少压缩保质量，高负载或省电模式时提高压缩率。
Daedalus-150M：专为 CPU 推理设计的卷积-注意力混合模型
🧭 高效小型 LLM 架构 · 卷积-注意力混合
用 12 个短卷积层替代多数注意力层，在 CPU 长文本解码时实现 1.76 倍加速且质量不降
📌 工作参考价值（4 点）
- 对于需要在 CPU 或端侧低延迟推理的轻量级模型（如端侧 query 建议、实时 push 文案生成、边缘排序模型），可以尝试用短卷积替代大部分注意力层，减少 KV cache 读取；在长上下文时加速显著，适合长 prompt 或长序列用户行为建模。
- 目标驱动的架构设计：先固定部署环境（单用户、4-bit、普通 CPU），再反向选择模型结构，比“先设计大模型再压缩”更高效；推荐系统在边缘部署小模型时可复用这一思路。
- 在模型选型时采用预先注册对照实验：固定训练数据和模型尺寸，比较不同架构，并事前确定胜利指标，避免事后挑选；业务团队做架构升级时值得借鉴。
- 注意其报告的负面结果：4-bit 量化有不可忽视的质量损失，部分卷积通道实为冗余且难以修剪，词汇表不宜大于模型规模所需；这些小模型工程细节可直接避免踩坑。
当文本与数字冲突：大语言模型的证据仲裁研究
🧭 LLM 异质证据冲突仲裁与推理偏差
Department of Engineering Science, University of Oxford · Nuffield Department of Primary Care Health Sciences, University of Oxford · GlaxoSmithKline · Oxford Suzhou Centre for Advanced Research, University of Oxford
系统研究 LLM 在文本与数值证据冲突时的仲裁行为，发现启发式偏向与外部工具过度依赖
📌 工作参考价值（4 点）
- 在 Agent/RAG 工具调用链中，若检索或数值 API 返回与上下文文本冲突，不要默认模型能正确仲裁。建议在 LLM 前增加显式证据对齐/冲突检测模块：将数值序列与文本摘要对齐到统一 schema，并标记冲突供模型或规则处理。
- 模型对外部工具输出存在过度依赖，即使与直接上下文冲突也倾向采信工具结果。工程上可对工具输出注入置信度/新鲜度信号，并强制模型在生成最终答案前输出每路证据的可靠性判断，作为中间推理步骤。
- 显式可靠性提示效果弱于时间 recency 提示，提示词中“最新数据优先”可能比“高可靠来源优先”更有效；业务中实时转化率等时间敏感特征与历史统计冲突时，应更重视 recency 信号而非依赖模型自行权衡。
- 可构建合成冲突测试集（用隐变量生成两种模态，再制造仅一个模态对齐 ground truth）用于上线前评估 LLM 在风控、广告竞价、推荐解释等场景下的证据整合鲁棒性。
DARS：双层信用分配强化学习与结构化推理的图像编辑框架
🧭 多模态图像编辑 · 强化学习信用分配
South China Normal University · KlingAI Research
提出 DARS，在 planner-renderer 图像编辑中通过模块间与模块内双层信用分配，将最终奖励分解为局部监督信号，提升 RL 训练效率
📌 工作参考价值（4 点）
- 在多阶段推荐/Agent 系统中（如 planner-renderer 或召回-排序），用 multi-plan multi-render rollouts 估计模块间和模块内的 reward variability，作为 soft module routing 权重，替代简单的联合 RL 端到端更新，可避免梯度分配不公导致模块优化失衡。
- 让 LLM 输出结构化字段（如意图、对象、动作、约束四字段）而非自由文本，配合 prefix-gated reward 和 token-level advantage reweighting，可将最终业务指标（如成交、点击）奖励分解到关键生成的 token，提升生成式推荐理由/query 的可控性和训练效率。
- 自适应课程：利用 rollout 的平均奖励作为样本难度指标，动态调整训练集中难易样本比例，适合电商场景中长尾/困难样本（如复杂意图 query、小众商品）的针对性优化。
- 跨模块与模块内双层信用分配框架可扩展到“LLM 生成 query -> 检索器执行”的两阶段系统，解决最终指标不好归因于 query 生成还是检索执行的问题。
DICS：面向决策树分类器的数据驱动质心分裂方法
🧭 决策树分裂搜索加速 · 训练效率优化
Department of Mathematical Sciences, University of Texas at El Paso
用聚类构建类感知的紧凑候选分裂集，大幅缩小分裂搜索空间，加速决策树训练且精度不降
📌 工作参考价值（4 点）
- 在电商/广告排序常用的 GBDT（LightGBM/XGBoost）训练中，可借鉴 DICS 思路：对高基数数值或类别特征先做聚类，用聚类质心作为候选分裂点，替代逐值扫描或直方图分桶的固定候选，有潜力进一步降低分裂增益计算量。
- 类感知的质心分裂能保留判别信息，适合处理类别不平衡或特征与标签强相关的场景，例如 CTR 预估中的用户行为计数特征、商品价格等连续特征。
- 该方法可作为特征预处理步骤集成到现有树模型训练框架中，对训练数据采样聚类得到候选分裂集，再交给树模型搜索，工程实现上只需增加一次聚类开销，换来后续所有节点分裂搜索空间减小。
- 注意 DICS 的理论保证依赖假设，实际落地时需在小规模数据上验证精度损失；若精度敏感，可结合已有直方图方法做混合候选集。
多方法因果证据合成：从观察数据中按交叉方法收敛证据排序候选驱动因素
🧭 因果证据合成 · 多方法融合
Tricon Infotech
提出MCES框架，融合11种方法、8类数学传统，用收敛证据分数对候选驱动因素排序，避免单一方法误判。
📌 工作参考价值（4 点）
- 在归因/特征筛选场景代替单一SHAP或回归：对同一面板数据（用户×时间×实验外）跑多个因果/相关方法（Granger、回归、IV等），输出归一化后线性意见池，优先看多方法共同指向的 driver-outcome 对；可降低单方法假设失配带来的假阳性。
- 先用 Structural-Behavioral Decomposition 删除定义性/代数关系：例如 CTR=点击/曝光、GMV=单价×单量这种恒等特征若作为候选 driver，会天然高分；先识别并移除这类 tautological pairs。
- 将 CES 作为假设生成工具而非因果结论：用于实验前排序候选干预点，不用它替代 AB 测试；可结合业务已有实验/反事实做 scenario-specific calibration，限制外推。
- 工程化：方法池可并行执行，输出统一 [0,1] 归一化，成本可控；建议保存方法级别证据矩阵，便于审计和 case 复盘。
多模态图像重排的结构化相关证据方法
🧭 多模态搜索重排 · 结构化证据
The Hong Kong University of Science and Technology (Guangzhou) · Tencent Yuanbao · The University of Hong Kong
将多模态图像重排建模为语义约束满足，解析查询为结构化证据包并做证据条件验证，SOTA 且可蒸馏
📌 工作参考价值（4 点）
- 将用户查询解析为 typed semantic slots（required/forbidden/ignorable）的结构化证据，比不透明 embedding 或自由 CoT 更能捕获电商搜索中的复合约束（如“同款但粉色”“保留版型、忽略背景”），减少细粒度条件遗漏或幻觉。
- 采用 deterministic rubric scoring + evidence-grounded listwise comparison 的无训练重排流程，可直接接入已有召回/粗排链路，无需微调、上线快，适合电商场景数据分布频繁变化、快速迭代的需求。
- 显式证据可蒸馏轻量学生模型，保留 90%+ 效果且成本大幅降低，适合线上高 QPS 的排序阶段；可将证据包作为结构化监督信号迁移到商品/广告排序模型。
- 六个语义槽（entities, attributes, relations 等）与 required/forbidden/ignorable 的标注方式，可复用到商品属性约束理解模块，提升对用户意图（保留什么、改什么、忽略什么）的结构化建模能力。
FlashPrefill V2：面向长上下文LLM服务的块稀疏预填充注意力
🧭 长上下文推理·块稀疏注意力优化
MAIS & NLPR, CASIA · UCAS · WeChat, Tencent
通过均值修正、FA3/4对齐内核与分页KV/连续批处理，将块稀疏预填充从原型推进到生产级，128K下最高加速47倍
📌 工作参考价值（4 点）
- 用户长序列（如点击序列、会话历史）的预填充延迟是长上下文推荐/Agent系统的首要瓶颈，可借鉴块稀疏注意力：用均值修正项在极端稀疏下稳定精度，避免稀疏化后排序/检索效果明显下降。
- PackGQA内存访问、warp specialization和pingpong pipelining的组合可直接指导自研稀疏attention kernel，尤其适合在H20等推理卡上部署FP8量化，显著降低长上下文服务成本。
- 原生支持paged KV cache与continuous batching，说明稀疏注意力可作为现代推理框架（如SGLang）的backend无缝接入，适合在电商/搜索推荐在线服务中做透明替换，无需改动上层模型逻辑。
- 如果业务中有大规模多轮对话或长文档预填充，可参考块稀疏阈值机制做动态跳块，并在FP8精度下验证效果，兼顾首token延迟与模型质量。
FormalTCS：评估 LLM 端到端理论计算机科学研究能力的基准
🧭 LLM 端到端科研能力评估
Harbin Institute of Technology
构建专家验证的 FormalTCS 基准，评估 LLM 在 STOC/FOCS/SODA/COLT 前沿 TCS 研究上的端到端能力，揭示自动形式化与科研品味是主要瓶颈。
📌 工作参考价值（3 点）
- 自动形式化是瓶颈：将自然语言需求转化为精确形式规范（如 SQL、DSL、策略规则）的能力远弱于在给定规范下的执行/证明能力。搭建 Agent 系统时，不要假设 LLM 能直接从模糊需求生成可执行逻辑，应设计中间表示或人工辅助的形式化步骤。
- 生成-过滤-证明流水线：采用“生成候选 → 自动过滤（规则/模型）→ 外部验证器（编译器、单元测试、仿真器）”的架构，将 LLM 生成和严格验证解耦，能显著提升最终输出质量。在推荐系统中，可用于自动生成策略规则、特征工程代码或查询重写规则，并用离线评估/在线 A/B 过滤。
- 评估基准设计：区分“给定形式化陈述的证明能力”与“从自然语言到形式化的转换能力”，避免用端到端指标掩盖子任务瓶颈。在业务中评估 LLM 能力时，应拆解为意图理解、结构化生成、逻辑推理等子任务分别评测。
幻影增益：用实测零假设审计模型自提升
🧭 LLM 自提升评估审计
University College Dublin · Georgia Institute of Technology · Dalian University of Technology
审计 Qwen3-8B 的 LoRA 自训练，发现 7 类测量失效会反转结论，需为每个统计量单独测量零假设
📌 工作参考价值（4 点）
- 在电商/推荐模型迭代中，从只看平均 AUC/转化率转向 query/item 级别的“得与失”时，必须先建立实测零假设：同管线推一个 frozen control，否则推理 batching、贪心解码等工程差异会制造伪提升。
- 对外部蒸馏、自训练等“提升长尾/困难场景”的宣称要小心：需要用回归检验整体增益是否掩盖不对称性，避免把大增益的副产品误判为针对长尾的能力获取。
- 如果业务中做 LLM 自训练（如从用户反馈或生成数据中蒸馏），保留 baseline replicates 并用精确检验 + FDR 控制，能零成本识别伪获取；不要用单一 greedy decode 或扩展统计直接下结论。
- 工程实现中固定推理 batch 或记录 batch 配置，否则不同 batch 会让未训练模型出现虚假能力变化，干扰离线评估。
InsufficiencyBench：评估LLM对欠指定法律查询的处理能力
🧭 LLM欠指定查询处理评估
Thomson Reuters Foundational Research · Imperial College London
首个法律查询信息不足基准，衡量LLM识别缺失要素并避免臆测回答的能力
📌 工作参考价值（4 点）
- 在电商客服/对话式推荐Agent中，先对用户query做信息充分性分类，识别缺失的决策关键属性（如尺码、配送地址、预算、使用场景），在推荐前主动追问，避免用模型臆测补全。
- 构建类似“完整 vs 缺失变体”的评估集，监控模型是否对信息不足请求无差别回答或过度拒绝；用F2/召回等指标平衡漏判与过度追问。
- 借鉴缺失元素分类法（switch/gating/fatal prerequisite）设计对话状态机：不同缺失类型对最终决策影响不同，可配置强制追问、条件追问或默认假设。
- 对搜索query改写/推荐召回场景，先判断query是否信息不足，避免用LLM幻觉补全用户意图产生错误召回；同时保留对完整query直接执行的能力。
将 BrowseComp-Plus 投影到 ClimbMix：构建更真实的智能搜索评估语料
🧭 Agentic search 评估 · 语料投影
University of Waterloo
提出数据集无关的投影流水线，把 BrowseComp-Plus 问题证据迁移到 553M 文档的 ClimbMix，得到 57 个高置信评估样本
📌 工作参考价值（4 点）
- 构建离线评估集时，如果现有语料规模小且由 benchmark 自身支持文档和 hard negatives 组成，可以用投影 pipeline 把问题映射到大规模通用语料，再用自动验证+独立 agent+人工复核筛出证据完整的样本，避免评测泄漏和检索难度失真。
- 原子 reasoning hop 分解 + 逐 hop 证据定位的流程可以直接迁移到 RAG 或搜索 Agent 的训练/评测数据清洗，确保每个推理步骤都有对应文档支撑，减少幻觉式回答。
- 检索质量是 agentic search 的瓶颈：即使最终答案准确率只降 5 个点，evidence recall 从 84.3% 跌到 21.4% 说明检索侧严重不足。业务中应把 evidence recall 作为独立监控指标，与下游任务指标解耦。
- 发布的 projection pipeline 和 benchmark 可作为固定语料评估的模板，适合需要分离 Agent 推理能力与检索器能力的场景，例如电商搜索、推荐理由生成、客服 Agent 评测。
奖励引导的自回归图生成实现高效多智能体通信拓扑设计
🧭 奖励引导的多智能体拓扑生成优化 ★ 深度解读
University of Luxembourg · King Mongkut's University of Technology Thonburi
在ARG-Designer基础上引入奖励引导训练和图级奖励模型，生成更稀疏多智能体拓扑，平均降token 20.5%且保持精度
📌 工作参考价值（4 点）
- 在需要多 agent 协作的业务流程（如搜索意图拆解、选品+文案+审核 pipeline）中，可直接复用「生成拓扑 + 奖励模型 + Best-of-N 选择」的架构：用已有正确/错误执行记录训练 reward model，在线采样多个候选拓扑选 reward 最高者执行，额外开销很小，但能显著降低 token 成本。
- 奖励函数设计采用层级权重：任务完成(0.6) > agent 数量(0.3) > 边数量(0.1)，且各项归一化到 [0,1]，保证正确性优先；对于有明确监督信号、可验证结果的业务任务（如多步骤排序、问答、代码生成）可直接套用这种 scalar reward。
- 用 GNN（GraphSAGE）编码拓扑结构：节点特征拼接角色 embedding + query embedding + 结构特征，训练出的 reward model 可跨任务/跨角色共享，新 agent role 无需重新训练生成器，适合多业务域快速迁移。
- 推理阶段引入 Best-of-N 采样选图，只增加拓扑设计器的采样和打分开销，相比 LLM 调用成本可忽略；对高 QPS、成本敏感的场景，这是很实际的 token 节省手段。
交互效应的分布外推方法 DExtrI
🧭 组合外推与交互效应建模
Seminar for Statistics, ETH Zürich · Department of Statistics, University of Washington
提出 DExtrI，从仅单变量活跃的训练数据外推多变量组合的交互效应，并给出可行性理论保证
📌 工作参考价值（4 点）
- 推荐/广告中常需预测多策略同时生效的组合效果（如优惠券+置顶+新样式），而训练数据往往只有单策略生效的 A/B 实验。DExtrI 提供了一种从单变量观测外推组合效应的统计学框架，可直接迁移到营销组合效果预估。
- 对于特征交互敏感但线上实验昂贵的场景（如排序模型多目标权重、召回通道组合），可借鉴其 axis-aligned 采样策略：只需跑边际参数扫描，再用 DExtrI 预测联合配置，显著降低实验成本。
- 其理论保证刻画了“何时组合外推可行”的条件，可帮助判断在哪些业务问题上可以安全地从单变量实验外推到多变量组合，避免盲目用复杂模型外推导致不可靠结论。
- 方法对分布外组合输入的稳定性有明确建模，对推荐系统在用户/物品特征组合出现长尾或未见组合时的鲁棒性设计有启发，尤其是交互项的结构假设可以简化线上模型的分布外泛化问题。
可解释 Transformer 模型用于结构化电子健康记录的临床预测任务
🧭 结构化 EHR 序列建模 · 可解释性
Sanofi · Carnegie Mellon University
将化验值按百分位分箱离散为 token 并结合 Integrated Gradients，实现 EHR 序列预测与 token 级解释
📌 工作参考价值（4 点）
- 数值特征离散化：将连续特征（如价格、时长、评分）通过分位数分箱映射为离散 token，既适配 Transformer 输入，又保留相对大小信息，可用于用户行为序列建模。
- 可解释性归因：Integrated Gradients 对输入 token 序列做贡献归因，可用于诊断推荐模型中哪些历史行为或特征驱动了预测，辅助特征筛选和模型审计。
- 预训练 + 微调：在大规模用户序列上预训练通用行为语言模型，再针对具体任务（点击率、转化率）微调，类似 BERT-LER 在 EHR 上的做法。
- 论文是医疗领域，但序列建模和数值编码策略可迁移到电商用户行为序列、广告曝光序列等场景。