OmniEdu：面向学习与教学的开放基础模型
🧭 教育 LLM 能力导向指令微调
Peking University · University of the Chinese Academy of Sciences · Zhongguancun Academy
以能力平衡的指令微调语料构建教育基础模型，在K-12解题、课程定位与教学辅导上全面提升
📌 工作参考价值（4 点）
- 能力导向的数据组织可迁移到电商/推荐 LLM：按“商品理解/意图预测/解释生成/干预策略”等能力划分 instruction 数据，而不是按任务来源混合；用 token 预算做多样性采样，防止长尾能力被高频任务淹没。
- 多阶段数据质控流水线值得复用：确定性规则清洗 + 语义审计重写 + 任务特定质量评分，能显著降低垂直领域微调数据噪声；在电商搜索/推荐场景，可先用 LLM 对候选样本做语义评分，再按预算筛选。
- 领域数据与通用 instruction 混合（100+ 教育资源 + 通用指令）保持通用能力，避免灾难性遗忘；电商垂直 LLM 微调时可参考类似配比，保留通用对话与推理能力。
- 分尺度验证（4B/9B/27B）说明数据策略在不同模型规模上稳定有效，业务选型时可先用小模型快速验证数据配方，再扩展到更大模型。
弃权与噪声过滤：Softmax 注意力的两个缺失原语
🧭 注意力机制原语 · 模型训练改进
St. John Fisher University
显式加入弃权(sink logit)与值门控噪声过滤，两者结合在10M-350M匹配模型中均优于softmax基线
📌 工作参考价值（4 点）
- 若在电商搜索/推荐中自研或微调 Transformer 排序模型（如 LLM4Rec、行为序列建模），可直接在 attention 中加入 per-head sink logit 实现 abstention，几乎零参数且兼容 KV cache，适合长序列中忽略无关历史行为。
- 在用户行为序列包含大量噪声（点击噪声、误触、跨域行为）时，对 value 侧加可学习 gate 过滤 residual stream 中的叠加特征干扰；模型规模越大，该噪声过滤收益越明显，10M→350M 趋势提示大规模 CTR/CVR 模型优先考虑 value gating。
- 两种原语有互补盲区，建议同时加入而非只选一种；在 Agent 多步推理或 RAG 检索上下文拼接时，attention 可能被迫把注意力质量分配给无关 token，sink logit 可以让头显式弃权，减少错误信息聚合。
- 若用 LoRA 微调已有 LLM 推荐/Agent 模型，这些改动不增加缓存开销，可作为结构正则化 trick 加在 attention 子层，注意 warmup 和初始门控设置。
企业生成式 AI 功效、可靠性与价值量化评估系统
🧭 企业 GenAI 用例级评估与门控
提出企业级 GenAI 用例评估系统，融合度量目录、校准 LLM-as-judge、阈值门与价值风险模型，并在银行试点验证
📌 工作参考价值（4 点）
- 可借鉴其用例级评估门控：把度量向量（保真度、效用、效率、可靠性、保证、监督）和置信区间映射到 REJECT/CONDITIONAL/SCALE，适合电商推荐中 LLM 生成文案、推荐理由或 Agent 流程的灰盒评估。
- 用 prediction-powered inference 校准 LLM-as-judge 评分，降低人工盲评成本，同时保证统计可靠性；可直接用于商品文案改写、搜索摘要等生成模块的持续质量监控。
- 按 autonomy level（自动化程度）与 consequence tier（后果等级）设定评估强度，为不同风险场景（如支付、金融推荐）分级投入评估资源，避免过度或不足测试。
- 价值风险模型中把 reviewer catch rate 作为可测参数，量化人审在环路中的检出率与成本，有助于计算生成式推荐/Agent 项目的实际 ROI 和扩量决策。
RewardVerse：细则引导的视频奖励模型策略优化
🧭 视频生成奖励建模 · Rubric 引导优化
New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences · School of Artificial Intelligence, University of Chinese Academy of Sciences · The Hong Kong University of Science and Technology · Tencent
提出动态 rubric 中间表示与两阶段 RGPO 训练，缓解视频奖励模型标量漂移，点/对偶评估达 SOTA
📌 工作参考价值（4 点）
- 若在搜索/推荐里用 LLM-as-judge 或 reward model 评估生成内容（广告文案、标题、推荐理由、短视频素材），不要把质量直接映射成单 scalar；先生成针对 query/商品类目的动态 rubric，再基于 rubric 打分，可缓解不同 prompt/类目间的分数漂移，使 RL/排序信号更稳定。
- RGPO 两阶段训练可迁移：先用一批人工/规则 seed rubrics warm up scorer 对齐人类评分，再联合微调 rubric generator 生成 query-adaptive criteria，避免直接联合训练导致 rubric 崩坏或打分不稳定。
- Self-evolving seed rubrics 类似于软知识蒸馏/增强：可让 rubric generator 在少标注下扩展评价准则；在电商类目多、标注贵场景可以用 seed rubric + 自演化减少人工规则成本。
- 该框架给奖励判断带来可解释中间表示，便于审核、错误归因和人工校准；上线 reward model 前可把它作为诊断 scalar drift 的工具。
RheoSampling：解决随机动态树投机解码中的独热困境
🧭 LLM 投机解码推理加速
National Center for Mathematics and Interdisciplinary Sciences (NCMIS), AMSS, CAS · The University of Tokyo · Lenovo AI Technology Center · SKLMS and AMSS, Chinese Academy of Sciences · School of Mathematical Sciences, University of Chinese Academy of Sciences
通过解耦动态树构建与验证概率，首次实现上下文感知 top-K 动态树与随机采样兼得的无损投机解码
📌 工作参考价值（4 点）
- 线上 LLM 服务若采用投机解码加速，在 temperature>0 的生成式推荐/文案/对话场景，现有动态树方法会退化为 one-hot，导致接受率下降；RheoSampling 可作为随机采样下保持加速的参考实现，直接替换 EAGLE-3 等动态树 draft 策略。
- 其“构建概率”与“验证概率”解耦思路可迁移到其他需要在同一分布上同时做结构选择与质量评估的系统（如束搜索、MCTS 或推荐候选树生成），避免结构选择吃掉采样多样性。
- OT-based verification 和 sparse draft 机制对工程实现有借鉴：验证阶段用最优传输分配概率，稀疏 draft 减少无效分支，可降低延迟同时保持无损。
- 对于需要平衡多样性与效率的 Agent 多步推理/工具调用生成，该框架提供的等价类分析可作为分析随机树结构的新模板，帮助设计可证明无损的随机搜索策略。
神经谱容量：仅凭网络结构规范测量与设计架构
🧭 训练无关容量度量与架构设计剪枝
Department of Computer Science, City University of Hong Kong
提出基于权重矩阵奇异值谱的闭式容量指标 NSC，无需实例化/数据/梯度即可评估架构，并给出全局最优 DP 求解器
📌 工作参考价值（4 点）
- 在电商/广告/生成式推荐模型做结构选型时，可用 NSC 作为零成本过滤指标，在训练前快速比较同预算下不同 depth-width、FFN ratio、attention head、MoE expert 分配，替代小规模消融或昂贵搜索。
- 对 LLM 类召回/排序/Agent 策略模型做结构化剪枝或部署压缩时，NSC-DP 可在 CPU 秒级返回给定参数/延迟预算下全局最优的层与组件保留方案，无需 calibration data，比现有 training-free proxy 快约 5900 倍。
- 利用 NSC 的 layer-wise additive 性质，可在多域/多任务推荐模型或异构 MoE 中按塔、按 expert 精细核算容量，指导预算在 tower、shared bottom、task head 间分配。
- 注意 NSC 依赖随机初始化下的 Marchenko-Pastur 假设，适合做候选架构过滤和初始化分配；最终上线前仍需在业务数据上微调验证，避免把排名绝对化。
Transformer 中的世界建模：机制分析
🧭 机制可解释性 · 世界模型
EPFL · IDIAP Research Institute · MATS · University of Bern · University of Manchester
通过机制分析与因果干预揭示 TaxiGPT 内部存在一致地图与导航能力，行为失败源于叠加特征干扰
📌 工作参考价值（4 点）
- 评估 LLM/Agent 能力时，不应只看行为指标（如推荐 CTR、合法动作率），可结合探针或因果干预检查中间表示是否编码关键实体与关系；行为失败可能是特征干扰而非能力缺失。
- 对 embedding 或序列模型，可按相同动作/属性的实体做分组表示（类似 affordance packing），降低叠加特征干扰，提升导航/决策鲁棒性；可迁移到商品/query 表示中按可替代行为聚类。
- 用机制指标追踪模型训练过程中能力的涌现阶段，指导训练轮数、模型规模选择或继续训练，避免依赖单一评估集。
- 当线上模型出现异常行为时，可先定位是感知/表示层错乱还是策略层决策错误，再针对性修复，减少无效重训。
TrialAtlas：面向临床试验设计与优化的多智能体研究组织
🧭 多智能体协作优化复杂决策
University of Illinois Urbana-Champaign · Keiji AI Inc · The University of Osaka · University of Pennsylvania · AbbVie Inc
提出记忆增强的多智能体系统 TrialAtlas，通过文献、竞品、法规先例及历史 NDA 学习提升临床试验缺陷检测与成功预测
📌 工作参考价值（4 点）
- 多智能体分工可借鉴：文献合成、竞品情报、政策/法规先例分析、综合推理，类似电商场景中的市场分析、竞品监控、平台规则合规、策略生成，可将复杂决策拆解为专业子 agent 协同。
- 记忆增强机制：用历史真实案例（NDA/CRL）作为经验库，在推理时检索相关先例，可迁移到广告投放历史 campaign 复盘、商品推荐中的相似场景检索，提升决策可解释性和复用性。
- 构建领域真实业务评测集：用 291 个 FDA 拒批信做 benchmark，比合成数据更有业务可信度；电商可借鉴用投放失败案例、申诉案例或用户投诉构建回归评测集，评估 agent 的缺陷发现能力。
- 输出可操作建议而非仅风险评分：TrialAtlas 生成具体设计改进点，类似商品推荐解释、广告审核意见，提升生成结果在业务上的直接落地价值。
下一步应该问什么？部分证据下的检索感知问题学习
🧭 检索感知的提问策略学习 · RL ★ 深度解读
Sichuan University · University of California, Berkeley
通过在线 RL 直接从检索排名反馈优化提问策略，替代离线 QA 排序模仿，五轮 R@1 提升 5.79 个点
📌 工作参考价值（4 点）
- 用检索结果变化（如 reciprocal-rank gain 或业务指标）作为 reward 在线优化 Agent 的澄清提问/query 生成策略，不要依赖人工标注的问题质量或静态候选区分度；GRPO 可稳定训练，且训练好的策略可跨 retriever 迁移。
- 将当前 Top-K 候选项直接作为多模态上下文输入给策略模型，去掉 selector 等中间组件，让策略直接学习如何利用候选差异；在电商对话式搜索中可让 Agent 直接观察当前召回 Top-N 商品图像/标题来生成澄清问题。
- 实现一个 validity gate 约束生成，过滤掉候选索引引用、请求泄露记忆、重复提问等，防止 RL 策略走捷径；在训练和推理都使用，可大幅减少无效动作并避免策略崩溃。
- 分析显示局部开放属性问题（如“什么颜色/材质”）比 yes/no 问题带来更大的检索增益，策略会自发将预算分配给这类问题；可参考该结论引导电商对话式搜索中的问题类型分配，优先问具体属性而非泛泛确认。
语言模型测谎：读取模型不愿透露的知识
🧭 LLM 内部知识探测与隐藏知识审计
StackOne Technologies
用内部状态探测识别 LLM 隐藏但已知的答案，区分“不愿答”与“不会答”
📌 工作参考价值（4 点）
- 在电商/广告 Agent 上线前，用 PIR 式内部探测评估模型是否真正掌握商品知识或策略却因 prompt 冲突、安全过滤误伤而故意不输出，避免仅靠行为日志误判能力。
- 对经过 RLHF 或 unlearning 的模型，用内部识别信号验证敏感知识是否真正遗忘而非仅在输出层被压制，可用于合规删除用户数据或品牌敏感信息的审计。
- 该方法无需标注真值，可对长尾商品/query 做无标签知识覆盖度审计，帮助识别模型“知道但不说”的候选，减少标注成本。
- 可将候选答案的内部识别分数作为生成结果可信度辅助特征或 Agent 决策路由依据，在关键推荐/搜索环节检测模型是否隐藏高置信答案。
自组织智能体团队学会协同推理
🧭 多智能体协作策略学习 ★ 深度解读
Stanford University · Together AI · Emory University
固定智能体团队从历史协作中学习可迁移的团队协作策略，无需预设任务分解即能超越最强成员与路由上限。
📌 工作参考价值（4 点）
- 多 agent 协作流程（roles/phases/information flow）可作为可学习资产，用小型训练集通过进化搜索离线优化；冻结策略 bank 在线复用，避免 test-time 动态规划，降低延迟与成本，适合搜索推荐中的多模型融合、query 理解或排序后 rerank 流水线。
- 引入“路由 oracle”作为强 baseline：只聚合成员独立回答且完美选择的上限，能区分团队增益是来自选择还是真正协同推理。业务中评估多 agent 系统时，应同时报告 coverage 与 final accuracy，定位瓶颈在生成还是选择。
- “demonstrability”指标（外部模型判断正确推理的可辨识度）与团队增益高度相关，可用于预判哪些任务适合多 agent 协作；在电商场景可用来识别需要多模型会诊的高价值 query 或商品。
- 异构模型组合（强推理 + 校对/审计 + 多样化生成）比同构团队或单模型线性化更有效；具体 trick：将某成员观察到的优势转化为显式角色（如 auditor），并让该角色只在特定 phase 参与，保留多样性的同时隔离错误。
按需注意力：语言模型知道何时回忆
🧭 长上下文高效推理 · 按需注意力
Southern University of Science and Technology · Peking University · Peng Cheng Laboratory
训练轻量 recall head 基于解码状态动态触发全局注意力，在保持性能的同时大幅减少长上下文全局读取
📌 工作参考价值（4 点）
- 在电商多轮 Agent / 长会话推荐场景，可采用 local-first + 轻量 recall head 的思路：先用局部注意力生成，仅在预测到当前步需要全局信息时触发全局注意力，降低长上下文推理成本。
- 借鉴「只训练 recall head、冻结基座权重」的做法：在不改动线上 LLM 主干的前提下，通过一个极小的辅助头提升注意力分配效率，易于迭代和上线。
- 工程实现上参考其 vLLM 的 GPU 端条件执行：把是否执行全局注意力的分支放在 GPU kernel 内，避免 CPU-GPU 同步，才能真正把减少的全局读取转化为实际解码加速。
- 若业务使用 hybrid-attention 或长历史序列建模（如用户长期行为、商品描述），该方法可迁移为对重要 step 的按需全局召回，降低推理耗时同时保持大部分效果。
APort Vault：基于 Open Agent Passport 的 AI 智能体支付授权基准
🧭 Agent 工具调用授权与安全评估
APort Technologies Inc.
回放 4371 条人类攻击，证明确定性预执行检查可将未授权支付转账从 140 次降至 0 次
📌 工作参考价值（4 点）
- 在 Agent 执行支付、退款、优惠券发放等高风险工具调用前，增加一个确定性的预执行策略层（如 Open Agent Passport），用白名单校验接收方/账户，而不是依赖 LLM 自身的判断，可显著降低越权操作。
- 评估 Agent 安全或工具调用时，不要只统计“请求率”或“成功率”，应分解为请求、成功支付、授权决定、成员资格、未授权转账等多个事件，否则指标会掩盖真正的失败模式。
- 攻击回放与分层 policy 配置（Level 1-4）的思路可迁移到电商 Agent 测试集构建：按风险等级设计不同允许操作范围，在不同配置下回放攻击，并公开数据集以复现结果。
- 业务中更应投入精力设计清晰的授权边界和确定性执行，而非单纯比较 LLM 能力：本研究发现请求率差异主要来自 policy 配置而非模型本身。
不要掩码环境：观察监督如何改变 Agent 在 RL 下的探索
🧭 Agent 轨迹 SFT 监督目标扩展
University of Maryland · AWS AI Labs
SFT 同时监督 observation token，无需额外数据即可提升后续 GRPO 的 pass@k 与探索多样性
📌 工作参考价值（4 点）
- 在训练对话式推荐 / 搜索 Agent 时，SFT 阶段可以对环境返回的观察 token（如商品信息、搜索结果片段）也计算交叉熵损失，不增加数据、参数或序列长度，能显著提升后续 RL 的采样质量（pass@k）。
- 若 Agent 需要工具调用或多轮交互，联合监督 action 与 observation 可以防止模型过度特化于动作生成，保持对环境的预测能力，使 RL 阶段策略更新幅度更小、更稳定。
- 对于需要高多样性输出的场景（如广告文案生成、Query 推荐），可借鉴 ActObs 思路：在预训练或 SFT 时对“用户反馈”或“系统状态”也加监督，让 RL 后模型保留更多熵，提升 pass@k 而非只追求 pass@1。
- 工程实现上零额外成本：只需修改 loss mask，把原本作为上下文的 observation token 也纳入预测目标，即可复用现有 SFT 流水线。
Chronicle：LLM Agent 回归测试的切点回放
🧭 LLM Agent 回归测试与录制回放
Microsoft
通过切点回放把 LLM agent 失败运行转成 CI 回归测试，兼顾录制的可复现与新代码实跑
📌 工作参考价值（4 点）
- 把 LLM agent 运行中的模型调用、工具读取外部状态等非确定性边界作为 cut-point 录制，之后可部分回放、部分实跑新代码，快速把线上事故变成 CI 回归测试。
- 录制开销很低（23μs/边界），可在电商/广告 agent 的关键工作流中在线开启录制，积累回归 case，不影响性能。
- 对高风险工具（退款、出价、商品发布等）做 guard/安全断言时，cut-point replay 比全 stub 更能捕获真正的不安全变更，避免测试假阴性。
- 业务中可先离线模拟模型边界，用 replay 验证修复，再逐步接入 CI，减少对 LLM 调用的依赖和成本。