Noesis：双向图 RAG 与自适应并行及跨知识库语义发现
🧭 Graph-RAG 架构 · 多跳推理与跨知识库路由
Alpha Cogs
提出解耦 Graph-RAG 架构，结合双向图遍历、AIMD 并发控制、MoE 量化与跨 KB 路由，HotpotQA 超 GraphRAG +27.8 EM
📌 工作参考价值（4 点）
- 知识图谱构建时参考双向遍历 + 带记忆衰减的 context resolver，可改善电商场景中商品详情、用户评价、售后政策等长文本的跨段落关系抽取，尤其适合“多商品对比”“政策条款与商品页关联”等需要跨 chunk 因果链的任务。
- 借鉴 AIMD 并发控制器：将文档 ingestion 或模型服务的并发从固定线程改为类似 TCP 的加性增/乘性减自适应策略，能自动跑满硬件且避免 OOM，适合大促前全量商品知识库刷新。
- MoE 模型上线采用领域感知选择性量化而非全局量化：对高频/关键专家保持高精度，对冷门专家激进量化，可在 12GB 消费级 GPU 部署大模型，降低电商 RAG assistant 或投放助手的推理成本。
- Mesh 的跨 KB 语义路由可直接迁移：多个业务知识库（商品、活动、广告、客服）不必合并成单一大图；路由层做运行时结构发现与自适应阈值切分，让一个较小模型完成跨域多跳推理，适合构建统一购物助手或广告投放问答系统。
On-Policy蒸馏泛化的双面性：同源对齐与多教师跷跷板效应
🧭 On-policy蒸馏泛化与多教师集成 ★ 深度解读
University of Science and Technology of China · Peking University · IQuest Research · MBZUAI · Zhejiang University
控制实验发现OPD迁移教师推理行为而非答案，同源教师跨域泛化强但使多教师路由出现跷跷板效应
📌 工作参考价值（4 点）
- 教师选型：做 LLM 蒸馏/对齐时，优先选同 base model 的 same-origin 教师，而不是只看 benchmark 更强的跨架构/异源教师；尤其在需要跨域、跨语言或长程推理迁移时，同源教师能带来更稳定的全局策略对齐。
- 训练数据筛选：不要按 teacher 是否解出问题过滤样本，teacher 端 pass-rate=0 的难题同样有价值；对 student 已稳定解决的 prompt 可以动态丢弃，能带来小幅一致性提升并节省算力。
- 多教师/多域路由：在多任务业务（搜索、推荐、广告文案等多域 LLM）里，不能把 prompt 路由当作能力隔离墙；教师影响会跨域拉扯，调整某一教师数据比例会产生跷跷板效应，必须全局监控所有域指标，且同源教师拉动力更强。
- 诊断方法：除了训练 loss，监控 teacher-student 的 top-K token overlap 等策略对齐指标，可判断蒸馏是真正对齐整体策略还是仅拟合训练分布；在 Agent 策略蒸馏中可用来控制跨能力迁移。
全局仿真引导的动态算子调度实现高效多租户模型服务
🧭 多租户 LLM 推理的算子级动态调度
Xiamen University · Shanghai Jiao Tong University · East China Normal University · Tsinghua University
提出 SliceScheduler，利用全局映射图和模拟器进行算子级动态调度，提升多租户 LLM 推理吞吐 1.10-2.29 倍
📌 工作参考价值（4 点）
- 在部署 LLM-based 推荐/搜索服务时，容器粒度调度会浪费 GPU 碎片时间，可借鉴 SliceScheduler 将调度单位从容器细化到算子，利用短时空闲 slice 提升吞吐。
- 引入全局映射图（GMG）统一描述算子依赖、tensor 形状、资源映射和状态，方便实时全局视角做决策；自己的推理平台可以维护类似有向图，结合模拟器做 what-if 预测。
- 设计增量式模拟调度：生成候选 placement 后用模拟器评估内存和延迟，选择最优不违反 SLA 的方案，避免实际试错成本；可用于多模型混部或流量突增场景。
- 实现为 PyTorch backend，说明算子级调度可以透明集成到现有训练/推理栈，业务侧无需大幅改动模型代码。
SubZero+：基于大学习率的高效零阶 LLM 微调
🧭 零阶优化 · 低秩子空间微调 ★ 深度解读
Beijing Normal University · Singapore Management University · Xiaomi Inc. · Beijing Key Laboratory of Artificial Intelligence for Education · Engineering Research Center of Intelligent Technology and Educational Application (MOE)
在低秩子空间内多查询梯度估计+低秩Adam+Haar符号校正，让零阶微调能使用大学习率并稳定提升性能
📌 工作参考价值（3 点）
- 在显存受限的 LLM 微调/适配任务中（如 24GB 卡微调 8B 模型、边缘端私有化部署），可直接借鉴 SubZero+ 的“低秩子空间内多查询 ZO”方案：每步 K+1 次前向，无反向传播，显存接近推理；在相同前向预算下，K=50-100 可显著提高稳定性和准确率。适合 query 生成、文案生成等轻量生成任务的快速适配。
- 若业务里已有 LoRA 等低秩适配模块，可将优化器换成“子空间 Adam”：在低秩参数上维护 r×r 的一阶/二阶矩，按元素自适应步长，几乎不增加显存，但能扩大可用学习率范围、减少调参成本。对广告标题生成、搜索词推荐等多场景快速迭代尤其有用。
- 实现注意：用 QR 分解生成随机投影矩阵时，务必对 Q 按 R 对角元素做 sign correction，否则投影矩阵不是 Haar 分布，会导致方向性偏差，影响优化稳定性。该工程细节可落地到任何使用随机子空间/扰动的算法中（如差分隐私、对抗训练、ZO 超参搜索）。
TaoLive 数字人直播 Agent 技术报告：训练 Agent 随 Harness 共同演化
🧭 直播电商 Agent 训练与 Harness 演化 ★ 深度解读
TaoLive AIGC LLM Team
HAT 通过 Harness-State Augmentation 训练紧凑模型，使直播 Agent 在低延迟下随 Harness 演化并保持通用能力
📌 工作参考价值（4 点）
- 把业务策略（Skills、Hooks、prompt、tool schemas）从模型权重中解耦，用可独立版本化的 Harness 模块做诊断-编辑-评估闭环；策略更新从重训变成小时级上线，适合电商运营规则、合规要求高频变化。
- 训练数据只覆盖单一 Harness 会让小模型记 skill 名/工具名/模板，上线后策略一改就崩；用 HSA 对 skill 名与内容、tool schema、prompt 结构、Hook 行为做任务保持扰动，构造多种 Harness 配置让模型学会读当前指令而非背固定版本。消融显示 HSA-SFT 收益远大于 HSA-RL，优先在 SFT 阶段做增强。
- General OPD 以预训练基座为 teacher，在通用指令数据上做 on-policy KL 蒸馏，能找回领域 SFT 损失的通用指令能力（IFEval +8.5），比单纯加回通用 SFT 更贴合低延迟 agent 场景。
- 低并发实时直播用单卡 H20 + MTP 投机解码可把 P95 压到 8.1s、吞吐提升 1.7x；但高并发下 MTP 收益递减，应预留副本而不是把它当高吞吐优化。Hooks/超时/降级路由做防御性深度，避免模型幻觉造成事实性风险。
推荐系统陈旧内容分解：超替与衰减双过滤器
🧭 候选集陈旧度过滤 · LLM 蒸馏 + 流量预测 ★ 深度解读
Google LLC
用 LLM 蒸馏的 pairwise 超替检测与多模态流量比例预测在排序前过滤陈旧内容，Google Discover 用户投诉降 54.9%
📌 工作参考价值（4 点）
- 把候选集陈旧度拆成「超替」和「衰减」两类，分别用 pairwise 关系模型和内容流量预测做上游 OR 过滤，可复用到电商的促销/价格/库存更新、广告素材生命周期管理；在排序前剪枝还能直接省 CPU/TPU。
- 用 LLM 合成 pair 训练数据时，先聚类去冗余、再在中等相似度区间加权采样，能显著提高正样本比例；同时监督 rationale 比只监督 class 更好，并可加入 NLI 等 pair 关系辅助任务。
- PTR 类流量预测建议用 search-click / 主动意图信号，不用 page-view，避免 Publisher 推广 bias；多模态 early fusion + 多 horizon 多任务输出，比 late fusion 更省也更强，决策时取已过最大 horizon 的单调阈值即可。
- 在线评估体验类指标可借鉴 prevalence-delta A/B：按实验组 vs 对照组的 view delta 采样 item 做人评，解决用户投诉稀疏的统计功效问题；item-level 无个性化信号离线缓存、serving 时查表，不增加在线推理成本。
学习未掌握部分而非已掌握部分：多奖励策略优化的饱和感知优势重加权
🧭 LLM 后训练 · 多奖励 RL 优化
University of Florida · UC San Diego · Northeastern University · Northwestern University · Stanford University
提出 SA-MRPO，独立标准化各奖励并按批次饱和度动态折扣优势，将优化重心转向未饱和目标，提升困难指标性能
📌 工作参考价值（4 点）
- 多目标 RL 微调时，不要先固定加权求和再标准化优势；改为对每个奖励独立标准化，并在每个 batch 估计目标饱和度（如 batch 平均奖励接近上限）来动态折扣其梯度贡献，可让模型自动将优化重心转向未达标目标，避免简单指标吸干预算。
- 推荐系统多任务学习可借鉴“饱和度感知动态损失权重”：每隔若干 step 根据验证集或 batch 上各目标当前水平计算饱和度，自动降低已达标任务的损失权重，把容量留给困难目标（如转化率）。
- 工程实现成本低：只需在 batch 内统计每个奖励的均值或分位数，设计递减函数（如 1 - 均值/上限）生成权重，无需额外超参或元学习，易嵌入现有 GRPO/PPO 流程。
- 多目标场景下应监控指标是否已达标，适时冻结或降低其训练信号，将 RL 信号导向更难提升的目标，符合“保持已满意水平而提升困难目标”的实践原则。
循环语言模型提升组合工具调用
🧭 循环语言模型优化多步工具调用
Department of Computer Science and Technology, University of Cambridge, United Kingdom
循环计算在组合式工具调用中提升准确率，自适应推理深度提供更优算力-性能折中
📌 工作参考价值（4 点）
- 多步 API 协调、状态依赖保持是 Agent 落地的核心难点，可尝试将 backbone 换成或改造为循环语言模型，替代复杂 prompt 工程，提升组合工具调用稳定性。
- 自适应推理深度在保证准确率的同时控制算力，适合线上 API 开销敏感场景；可以在推理时根据任务复杂度动态分配 recurrent depth。
- 论文验证了 retrofitted 循环模型（对 Llama、OLMo 等现有模型插入循环层）与原生循环模型均有增益，意味着现有 SFT 流程可复用，作为生成式 Agent 的候选架构成本较低。
- 业务中若涉及复杂工具编排（如电商 Agent 串联商品查询、订单、物流接口），可重点评测多步依赖型任务的准确率，而非只关注单步 API 调用指标。
以问求证：基于熵减奖励的多轮 LLM 对话推荐
🧭 生成式对话推荐 · 熵减奖励 ★ 深度解读
Amazon
用推荐熵减作为多轮交互奖励，无需 ground truth 即可训练更高效的对话推荐 LLM
📌 工作参考价值（4 点）
- 可以把“采样推荐列表的加权熵”作为在线 Agent 的不确定性信号：每次用户回复后采样 top-k 商品列表，计算熵减，作为无监督 reward 或筛选样本，用于训练导购/客服 Agent，避免人工标注交互好坏。
- DPO 偏好对可由熵减重打标签，替换 CollabLLM 里 LLM-judge 的 interactivity 分数；工程上只需在原有生成流程中加一个采样和熵计算模块，成本低，且更贴合推荐目标。
- 加权熵公式中 rank j 权重为 1/log2(j+1)，可借鉴到推荐列表评估：强调 top 位置的一致性，避免长尾商品波动干扰不确定性估计。
- 评估时除了 Hit@k，还应关注达到目标商品所需轮次；电商多轮导购中可把“轮次效率”作为核心指标，与转化率一起优化交互策略。
用户中心多轮智能体的意图驱动情境追踪
🧭 Agent 情境状态追踪 ★ 深度解读
University of Electronic Science and Technology of China · Shenzhen International Graduate School, Tsinghua University
提出训练无关的IDSS框架，显式分离工具事实与任务状态，通过约束传播提升多轮Agent完成率与效率
📌 工作参考价值（4 点）
- 在电商多轮导购/客服 Agent 中，可把工具返回（商品、订单、库存、履约）解析为带 provenance 的结构化事实层，与“用户目标/缺失变量/约束”状态分离；这能显著降低长对话中的事实遗漏和错误执行。
- 借鉴跨层约束传播：把预算、配送时效、库存/券可用性、退换政策等建模为可被新事实更新的约束；一旦违反就 block 不可行意图并自动激活替代路径，减少无效工具调用和违规下单。
- 用 <state> 块让 LLM 自更新任务状态并回注下一轮 prompt，不增加额外 LLM 调用；同时把历史中的原始工具返回替换为事实层引用，可低成本控制 prompt 长度，适合线上低延迟场景。
- 变量打标 askable / retrievable / derivable 可指导 agent 何时问用户、调工具或推导，尤其适合需要偏好澄清的电商导购与推荐式对话。
大型发现模型：基于实证的模型驱动开放式搜索
🧭 LLM + 贝叶斯代理模型开放式搜索
University College London · The Hong Kong University of Science and Technology (GZ) · Institute of Automation, CAS · Jilin University · AI Lab, The Yangtze River Delta
耦合 LLM 生成与贝叶斯非参代理模型，用不确定性值引导候选生成与筛选，实现开放式搜索性能大幅提升
📌 工作参考价值（4 点）
- 借鉴「LLM 生成 + 非参代理模型」的架构：在电商搜索/推荐里，可让 LLM 生成候选商品描述、广告创意、Query 改写等，同时训练一个轻量 Bayesian surrogate（如 GP/随机森林）预测效果并输出不确定性，不依赖 LLM 自评/概率作为可靠打分。
- 用 uncertainty-aware value 做候选筛选：例如生成多个广告文案或推荐理由时，按 surrogate 预测的 CTR/CVR 减去不确定性惩罚选择，可平衡探索与利用，降低对冷启动或分布外候选的误判。
- 持续更新 discovery memory 与 surrogate：每个线上实验反馈（点击、转化）实时更新代理模型和记忆池，使候选生成越来越符合业务目标；类似在线贝叶斯优化，适合迭代优化推荐策略或创意素材。
- 注意资源：LLM 生成多个候选成本可控，但每次实验反馈更新 surrogate 需要在线训练或增量更新方案；可参考论文中非参模型的选择，探索轻量实现。
RoE-FND：融合经验学习增强LLM的通用证据型假新闻检测
🧭 LLM 推理增强 · 经验检索
Fudan University · Hohai University
构建可复用推理经验库并通过检索经验裁决对立论证，提升LLM假新闻检测与跨域泛化能力
📌 工作参考价值（4 点）
- 经验库构建方法：在电商内容审核（如虚假评论、商品描述真实性）中，可让 LLM 同时生成无约束判断与给定真实标签后的条件判断，将两者分歧提炼为可复用的审核规则/经验条目，沉淀成行业/品类专属经验库。
- 双论证对抗裁决：对高风险 case，不要单次 LLM 判断，而是给出两个相反伪标签分别生成论证，再检索类似历史经验对关键分歧点做裁决；可迁移到客服纠纷判责、商家资质审核等需要证据链推理的业务。
- 无需微调的跨域迁移：适合电商多品类、多平台快速冷启动，避免频繁训练模型；只需维护经验库与检索器，即可在新类目复用推理能力。
- 与现有 RAG 结合：把经验库当作比事实片段更高阶的"推理模式索引"，修正 LLM 易被表面说服的倾向，可增强 Agent 在复杂决策中的鲁棒性。
TinyCast：通过计算周期实现概率零样本预测
🧭 零样本时序预测 · 轻量概率模型
RA WS Labs
146K参数零样本概率预测器，用频谱计算周期并做相位折叠，定义尺寸-精度前沿
📌 工作参考价值（4 点）
- 电商/供应链的时序预测（销量、流量、广告消耗）可借鉴“先算周期再折叠相位”：用频谱检测主周期，将序列按周期相位折叠，能大幅降低模型要学习的周期性，适合轻量模型。
- 要在端侧或广告平台 RTB 场景部署预测器，可参考其只含卷积+矩阵乘法的设计：能导出 static INT8 并端到端运行，无需逐信号拟合。
- 分位数解码器输出预测分布而非点估计，适合库存安全水位、预算控制、告警阈值等需要 uncertainty 的业务决策；比仅有点预测的小模型更可控。
- “block-autoregressive”生成未来一段再自回归，可迁移到多步需求预测/预算分配，减少长程误差累积，同时保持小参数。
UI-Mate：通过上下文演示提升开源权重基础 GUI 智能体
🧭 GUI Agent 训练与上下文演示
Tencent Hy Frontier Team
UI-Mate 结合环境驱动训练栈与上下文演示学习，在 OSWorld 等基准刷新开源 GUI 智能体 SOTA
📌 工作参考价值（4 点）
- 任务验证器与闭环数据引擎：可复用到电商 RPA、客服助手等 GUI 操作场景，用统一的 task–verifier bundles 自动化生成、过滤和平衡训练数据，减少人工标注。
- 演示学习的方式：将多模态演示转成 subtask-level workflow 而非刚性轨迹回放，同时允许从实时界面重新规划——适合电商中用户特定工具、隐性规则（如改地址需二次确认）的场景。
- 区分 self-demo 与 variant-demo：在构建演示数据库时，应分离同任务成功轨迹与相似但非同一任务的人类录制，有助于评估和提升模型对未见变体的泛化能力。
- 评测指标：除了 strict success，还引入 progress 指标，对长流程电商操作（如比价、下单、售后）更细粒度地反映中间进展，适合作为内部迭代指标。
VTInstructor：连续环境下基于视觉轨迹提示的导航指令生成
🧭 视觉语言导航 · 指令生成
Peking University · PrimeBot
将隐式轨迹几何转为显式视觉轨迹提示，首个连续环境 VLN 指令生成框架，刷新 R2R-CE/RxR-CE SOTA
📌 工作参考价值（3 点）
- 行为序列显式化提示：可把用户长点击/浏览/加购序列压缩成关键行为节点，并叠加“转向/目标”类结构化提示注入多模态或序列编码器，提升电商场景下 query 推荐、购物路径描述或决策理由生成。工程上可用点击率、停留时长等阈值抽取关键行为，形成轨迹图 prompt。
- 弱化图谱依赖：无需 navigation graph/map/scene reconstruction，适合业务中缺少完整商品知识图谱或用户路径图的情况。可借鉴其从稠密事件流中恢复轨迹、仅靠关键锚点构造上下文的方法，降低图构建与维护成本。
- 用下游 reward 校准生成：VT-GRPO 不止优化文本 NLL，而是让生成指令能提升下游 follower 成功率。迁移到生成式推荐/搜索词生成时，可用点击率、转化率等下游反馈作为 GRPO reward，使生成文本直接服务业务目标。