KaliBench：面向 Kali Linux 的细粒度网络安全工具调用基准与免运行时可验证奖励
🧭 LLM 工具调用评测与可验证奖励训练
Khalifa University · University of Western Australia
构建 8,504 条自然语言到 CLI 的细粒度基准，用可验证奖励把 8B 模型训练到接近 685B MoE 水平
📌 工作参考价值（4 点）
- 在电商/广告 Agent 中，若需要模型生成参数化工具调用（如推荐 API、搜索 API、营销活动配置），可仿照 KaliBench 构建「意图 → 结构化调用」的细粒度评测集。对工具名、参数名、枚举值做 canonicalization 和别名归一化，能定位到 flag 绑定、参数顺序等细粒度错误，而不是只看端到端失败率。
- 设计“无运行时可验证奖励”：用 gold 命令/参数与预测结果做确定性匹配（可包含语义等价的 alias 映射）作为 RL 奖励，避免每次 rollout 都跑真实线上环境；适合用 8B 级小模型做工具调用训练，压缩到接近大 MoE 效果，降低推理成本。
- 构建训练数据时采用多阶段验证：LLM 初判 + 沙箱/模拟器执行 + 人工复核。对业务中高价值的 Agent 工具调用数据，这一组合能显著降低不可执行或错误参数样本进入 SFT/RL 集。
- 结果显示无工具 schema 提示时模型 exact 匹配很弱；在业务 Agent 中应尽量提供结构化 tool schema、枚举约束或 few-shot 示例，把生成空间从自由文本 CLI 转向受约束 JSON 调用，以提升可执行率。
快手 Explorer LLM-Rec 挑战赛 2026：推理式生成推荐
🧭 生成式推荐 · Semantic ID + LLM 推理 ★ 深度解读
Kuaishou
系统总结多任务推理生成推荐挑战赛，开源 OneReason 数据与评测，提炼推理监督、RL 与偏好优化的关键经验
📌 工作参考价值（4 点）
- 在生成式推荐中加入思考链（CoT）不一定提升效果，关键是控制推理轨迹质量。冠军方案发现，把命中目标 SID 的采样轨迹加入训练但 mask 掉答案 loss，只优化 reasoning 部分，可以降低 think 与 nothink 候选重叠，提升两者互补性；直接全量监督会伤害候选多样性。迁移到业务：做 reasoning 数据增强时，对 target 重复的轨迹要限制数量并控制答案监督强度。
- 不同域的推理收益不同，亚军方案采用混合格式：电商用 think，短视频/广告/直播用 nothink，效果优于全 think 或全 nothink。业务上多场景生成式推荐不必强求统一 SFT 格式，可按域验证推理格式的实际增益。
- 处理多任务 SFT 长度差异时，pack-level cross-entropy 有效：先在 pack 内按 token 平均，再跨 pack 等权平均，防止长 response 驱动训练。这对同时训练 item 理解、用户理解、推荐等任务尤其有参考价值。
- 层级 SID 的 RL 奖励稀疏问题可通过 prefix guidance + hierarchical credit assignment 缓解：仅在无正确前缀时补充前缀引导，advantages 计算只比较同一父前缀下的候选，mask 掉给定前缀的梯度，避免只学会浅层一级码，提升全 SID 命中率。
扩展与蒸馏文本嵌入以提升扩散语言模型适用性
🧭 扩散语言模型 · 文本嵌入蒸馏
University of Michigan
通过扩展嵌入模型并用解码概率软标签蒸馏，使连续扩散语言模型生成有效文本，Gen PPL 17.8 优于 GPT-2-M
📌 工作参考价值（4 点）
- 在生成式推荐或 Semantic ID 场景中，若用扩散模型生成 item/query 嵌入，不要直接使用过度判别的预训练编码器；可借鉴“教师解码概率作为软标签”的蒸馏方式，使相近候选嵌入更聚拢，提升解码有效性和生成质量。
- 对 query 推荐/改写、push 文案生成等文本生成任务，可在训练连续扩散 LM 时加入 embedding 蒸馏阶段，让潜在空间更连通，减少无效输出（如解码到不存在的 token 或语义 ID）。
- 评估生成式模型时，除 PPL 外可引入“生成熵 vs. Gen. PPL”曲线，判断模型能否在真实文本熵水平下保持低困惑度，作为业务中生成质量的上线 benchmark。
- 这种先缩放再蒸馏的思路也可迁移到多模态或商品图文表示：用更大 teacher 的 soft targets 蒸馏轻量 embedding，提升下游扩散/生成模型的稳定性。
Latent-MOPD：隐空间多教师在线蒸馏
🧭 多教师在线蒸馏与表示对齐 ★ 深度解读
Case Western Reserve University · Zillow Group, Inc. · University of Illinois at Chicago · University of Florida
首个表示级多教师在线蒸馏方法，通过路由晚期隐藏状态对齐和逐教师 crossfade 融合多专家能力
📌 工作参考价值（4 点）
- 多领域模型融合时，不要只蒸馏输出分布：在 token-level OPD 基础上增加学生与路由专家的 late-layer hidden states 对齐，能保留专家内部推理信息；电商搜索/推荐/广告多场景 teacher 融合可复用这一思路，避免简单平均 logits 稀释专家置信度。
- 当学生与教师 hidden width 不同，用一个共享线性投影（或小 MLP）桥接，并用少量 student-teacher 状态对做 ridge 回归初始化投影，能降低训练不稳；业务中不同尺寸 CTR/CVR 或生成式推荐模型合并时可直接借鉴。
- 多专家训练时务必保持 domain-pure batches：同一 optimizer step 混入多个 teacher 的表示监督会导致表示 collapse，论文中 interleaved 更新使 MATH-500 从 91.7 掉到 9.8；多场景推荐/Agent 能力融合应按场景分组更新。
- 每个 teacher 使用独立 crossfade 时钟：前期表示监督、后期 token 蒸馏，能稳定多专家训练；若多个 teacher 同源同架构，可先用参数平均（model soup）作为学生初始化，再做少量在线蒸馏，电商多领域模型合并有直接参考价值。
面向多轮人机交互的轨迹级生成式引擎优化评估框架
🧭 生成式引擎优化 · 多轮轨迹评估
The University of Tokyo · UniConvo Inc. · University of Tsukuba · Hiroshima University · National Institute of Informatics
提出轨迹级多轮评估框架，揭示早期引用带来的会话捕获效应及其对单轮排序的颠覆
📌 工作参考价值（4 点）
- 电商/Agent 搜索助手评估不能只看单轮引用或点击：应构建多轮仿真器，将用户 query operator 与 history-conditioned retrieval 同时纳入。早期曝光的产品或品牌可能形成会话捕获，单轮排名会错估真实长期收益。
- 可借鉴轨迹增益分解：把多轮收益拆为 direct、machine-side feedback、human-side feedback 三项，定位是检索历史偏差还是用户追问/信任带来的增量；在推荐或 Agent 场景能指导 debias、reward shaping 与流量分配。
- 用 Pólya urn / 强化过程做低成本离线消融，替代昂贵用户研究；尤其适合没有全链路线上数据时验证生成式推荐策略的累积效应。
- 关注 compounding ratio 与 capture coefficient：若某商品/内容在对话早期被引用会显著提升后续被引概率，可主动利用该机制做新品冷启动，或反向做曝光公平性控制。
Omni-Embed-Mini：通过稠密蒸馏绑定模态而不遗忘
🧭 多模态嵌入蒸馏与对齐
Mohamed Bin Zayed University of Artificial Intelligence
0.9B 参数多模态嵌入模型，冻结文本塔、用稠密 caption 自身嵌入作教师，在不退化文本检索下对齐六模态
📌 工作参考价值（5 点）
- 多模态向量召回：把商品图片、视频、ASR 文案、详情页等映射到同一余弦空间，可实现自然语言 query 直接检索图片/视频/富文档，直接用于电商搜索、广告创意匹配、内容推荐。
- 冻结文本塔防退化：现有文本 embedding 服务（如商品描述召回）扩展多模态时，可完全冻结文本编码器，只对非文本模态编码器加轻量 projector 和 phased LoRA，避免线上文本检索指标下滑，工程上更安全。
- 用稠密 caption 做教师信号：用多模态 LLM 离线为图片/视频/音频批量生成 dense caption，再以文本塔 embed caption 作为学生对齐目标，无需单独训练教师模型，成本低且几何空间天然一致。
- 在线混合 hard negative miner：随着 encoder 更新逐步 sharpen 负样本，可结合 ANN 检索召回困难负样本，提升对比学习区分度，适合电商多模态检索中的难例挖掘。
- 0.9B 小模型即可覆盖六模态，2.3B 变体接近闭源 gemini-embedding-2，适合业务落地部署。
OneStreamer：统一流式视频交互中的感知、记忆与主动响应
🧭 流式视频LLM主动记忆与响应
NJU · PJLAB · JD · SJTU · USTC
通过共享主动生成过程联合学习证据记录与任务响应，形成可复用事实记忆且不牺牲实时感知
📌 工作参考价值（4 点）
- 实时用户行为流中的记忆机制：可借鉴 PHCM 思路，让 LLM 在用户会话中持续生成结构化摘要（如兴趣点、关键事件），作为可复用记忆补充最近窗口的原始行为，无需回溯全部历史即可回答后续 query 或做动态推荐。
- 状态监督稀疏化：PSTL 只对状态变化和状态持续的代表性 token 施加监督，减少重复无动作状态的负样本主导，适合序列推荐中的用户状态建模，降低标注成本并提升训练效率。
- 流式数据合成：该论文的数据合成管道强调输出内容与时序必须与当前可用证据对齐，避免信息泄露；在搜索推荐 Agent 的模拟数据生成中同样重要，确保生成样本符合在线实时约束。
- 主动生成作为统一接口：将感知、记忆和响应整合到同一个生成任务中，可指导设计电商 Agent，使模型在浏览/对话过程中持续产生可复用的中间记录（意图、属性），服务于后续推荐和问答。
绕过计算上限：Galahad 字节精确记忆使 LLM 阅读成为一次性成本
🧭 LLM 推理优化 · KV cache 复用
Corbenic AI
Galahad 为 vLLM/SGLang/llama.cpp 提供字节精确 KV 记忆层，将重复文档阅读变成一次性成本
📌 工作参考价值（4 点）
- 搜广推场景中大量 prompt 前缀重复（商品描述、用户历史、知识库、广告素材），可对固定上下文离线预计算 KV 并持久化，在线按需加载，避免每次重算；字节精确匹配 + fail-closed 机制保证缓存不会改变答案，适合线上一致性要求高的场景。
- 对长上下文任务（如用户长期行为序列、商品详情问答），可结合检索式片段注入：Blaise 只把必要片段送入模型，比全量投喂或纯 RAG 更省 token、更准；实验里 100/100 vs 调优 RAGFlow 的 77/100。
- 工程实现上，分段缓存与恢复要校验 bit-identical，避免因缓存错误影响线上 A/B 或模型输出；如果加载校验不过则回退重算，可作为推理网关的通用设计。
- 成本收益可量化：缓存构建的能耗在少量请求后即可收回，适合高频重复查询的电商知识库、活动规则问答、客服机器人等场景。
RPTune：LLM 目录搜索的学习式上下文筛选与后训练
🧭 长上下文 LLM 商品搜索 · 上下文筛选 ★ 深度解读
Google · University of Illinois Urbana-Champaign
提出 RPTune，用可学习 curator 对全量商品目录做剪枝重排，并配合 LLM 后训练，在 7 个小商家上显著提升商品搜索准确率
📌 工作参考价值（4 点）
- 对中小商户/长尾目录，若 catalog 可放入 LLM context，直接全量 prompt 比多阶段 RAG 更优；可先用 RPTune 类 curator 做 25% 剪枝，精度不降反升，同时降低延迟。
- 用 encoder+MLP 重排器，让 reorganizer 以冻结 LLM 反馈为信号做 RL，优化目标对齐下游选择准确率，而非单纯语义相似度；ascending 排列把高分商品放在 prompt 末尾（靠近生成位置）效果最好。
- 无行为数据冷启动时，用 frontier LLM 为每个商品生成合成 query，并对全 catalog 做 graded relevance scoring，训练和评估都无需商户日志；这种数据管线可复用到新品/小目录场景。
- LLM 后训练采用 context-relative reward：只要求在 curated 目录内选最高相关商品，并对幻觉（输出 catalog 外商品）给 -1 惩罚，能充分利用剪枝后的候选集，比全局 top-1 或连续分奖励更稳定。
ScholarCatalyst：检索能启发新研究的论文的基准
🧭 科学文献检索基准与Agent评测
Stanford University · Seoul National University · University of Washington · Carnegie Mellon University · Allen Institute for AI
构建207篇论文的作者标注检索基准，揭示Agentic搜索未超越嵌入检索（R@20 0.42 vs 0.48）
📌 工作参考价值（4 点）
- 对搜索/推荐中的复杂长尾查询，不要盲目叠加 Agentic 循环：强嵌入检索 + 合理 rerank 可能已达上限；应优先优化底库 embedding、索引和 query 理解。
- 用“项目完成者回看哪些早期论文真推进了项目”的方式构建评估集，能捕捉比点击/相关性更接近“灵感价值”的主观相关性；电商推荐可借鉴让业务 owner 标注哪些商品/内容真正影响决策。
- 时间切分很重要：论文基准只允许检索项目开始前的文献，对应推荐/搜索中训练与评测需严格按 timestamp 切分，避免未来信息泄漏。
- 自动标注 pipeline 通过 author 标注+理由生成可规模化，可用于构建需要专家判断的检索/排序训练语料，帮助模型学习领域专家直觉。
生产流媒体推荐中 LLM 推断用户上下文的增益条件
🧭 LLM 用户画像 · 上下文自适应推荐 ★ 深度解读
DePaul University · Comcast Technology AI
LLM 生成的语义用户画像只在探索型用户上优于聚合画像，且会显著放大热门偏差
📌 工作参考价值（4 点）
- 按消费模式分层选画像策略：线上可用训练期特征（历史长度、历史内容多样性）预估用户是习惯型还是探索型，对探索型才启用 LLM 画像，习惯型默认 centroid。论文给出 history size r=-0.30、历史 embedding 多样性 r=+0.11 两个弱但显著的相关特征，可直接作为 serving 端策略信号。
- 默认 aggregate 更稳，LLM 画像需配 fallback：在约 82% 的习惯型用户上，LLM 画像 Recall@10 比 centroid 低 21-31 个百分点；若拿不准用户 regime，保守选择 aggregate embedding，避免大范围掉点。
- 警惕 LLM 画像的 popularity attractor：LLM 生成式画像把推荐集中到更小、更热门目录，Coverage 下降约 80%，Novelty 下降 18-22%。电商/广告场景若重视长尾曝光，需要对 LLM profile 做 debias、温度/多样性控制，或只在探索型用户上启用，否则会系统性压制长尾商品。
- 时间 split + attention 对 LLM 画像才有明显作用：TemporalNarrative 在习惯型用户上比单段 Narrative 回升约 9 个点 Recall@10，但仍追不上 centroid；对 aggregate 几乎无影响。因此若用 LLM 画像，短/长期 split 值得做；若用 embedding centroid，不必增加时间切分复杂度。
生成式AI搜索打破信息茧房：多样化集体注意力并提升共享信息消费
🧭 生成式AI搜索与集体注意力多样化
University of Texas at Dallas, Richardson, TX 75080, USA · Boston University, Boston, MA 02215, USA · Faculty of Computing & Data Sciences, Boston University, Boston, MA 02215, USA · American University, Washington, DC 20016, USA · Hong Kong University of Science and Technology, Hong Kong SAR
随机田野实验显示，生成式AI搜索能扩大热门话题触达、增加读者间话题重叠，同时把消费推向冷门话题
📌 工作参考价值（4 点）
- 生成式AI搜索/推荐顶部放置带引用的AI摘要，会改变点击和流量分布：在处理组中，读者从传统结果点击转向引用文章和后续搜索，且引用文章推动冷门消费；电商/广告搜索可以借鉴这一机制，通过有选择地引用长尾商品或新品，调节头部集中度、扶持冷门供给。
- 评估AI搜索/推荐功能时不能只看单次点击或CTR：该实验发现，虽然单次搜索的文章消费下降，但更频繁的搜索抵消了这一下降，带来每人文章消费小幅增加、每分钟信息消费上升。业务上应结合搜索频率、总消费时长、曝光消费等指标综合评估，否则可能误判为负向。
- AI答案可直接满足信息需求，大部分共享信息增长不需要点击文章；在电商场景中，生成式摘要可能降低商品点击，但提升用户信息获取效率和整体互动，需要区分“展示消费”与“点击消费”来度量真实价值。
- 随机田野实验设计值得迁移：两组共用同一底层档案，实验组仅额外获得AI答案，可干净识别AI功能的因果效应；类似方法可用于评估推荐卡片、AI摘要、搜索改版对用户行为和平台生态的净影响。
VTR-Bench：视频生成中视觉文本渲染的系统性评测基准
🧭 视频生成评测 · 文本渲染
City University of Hong Kong · The Hong Kong University of Science and Technology (Guangzhou) · The Hong Kong Institute of AI for Science, City University of Hong Kong · Westlake University · University of Electronic Science and Technology of China
系统评估视频生成模型的场景文本渲染能力，并提出关键帧引导的Agentic改进框架
📌 工作参考价值（4 点）
- 广告/商品视频生成：引入 WER/字符级 OCR 校验，把品牌名、价格、卖点文案作为硬性 text fidelity 指标，纳入 AIGC 创意 pipeline 的自动验收，避免错误文案上线。
- 关键帧先验与迭代：在生成视频前先用图像模型生成并校验关键帧文字，通过视觉反馈做 candidate selection / refinement；这比直接烧视频生成更省成本，适合筛选电商展示素材。
- Agentic Director 架构可迁移：Director 协调图像/视频生成与视觉评估，把“生成-检查-修正”闭环用于多模态广告 Agent，结合 prompt-specific chain-of-query 同时检查场景/运动约束。
- 评测分离 fidelity 与 semantic/motion：自动评测时用 carrier-specific transcription 和 chain of query，避免单一 VLM 打分；对多模态 Agent 输出的结构化和可归因评估有参考价值。
Where-OPD：合成场景下空间引导的 MLLM 在线自蒸馏
🧭 多模态自蒸馏 · 空间感知提升
Valeo.ai · Sorbonne Université, CNRS, ISIR · Institut universitaire de France (IUF) · ILLS, CNRS, Montreal
提出用文本空间引导作为特权信息，通过在线策略自蒸馏提升 MLLM 空间感知，合成训练可迁移真实基准
📌 工作参考价值（4 点）
- 电商/商品视觉问答：可用程序化生成商品布局图、货架图或广告素材，自动获得物体身份与坐标，构造带空间提示（如『在 (x,y) 附近发现绿色标签』）的 QA 数据做自蒸馏，提升模型对商品计数、空间关系（前后/遮挡/相邻）和属性识别，无需人工标注。
- 文档/图表理解：对详情页、数据报表、广告资质图生成合成文档并注入 layout 坐标信息，蒸馏出能定位关键区域并整合多区域证据的学生模型，可用于 RAG 中的视觉证据定位、广告合规审核和图表指标抽取。
- 推理成本不增加：教师仅在训练时使用空间 hint，学生推理时只依赖图像和问题，适合与 LoRA/Adapter 结合部署；且 on-policy self-distillation 无需外部大模型或人工标注，工程接入成本低。
- 合成到真实迁移结论：该工作验证了合成场景训练可提升真实感知基准（平均 +3.23 点），可作为低成本增强长尾视觉任务（如稀有商品、复杂陈列）的先验，但需注意合成场景的分布覆盖范围。
无标签流内多智能体工作流优化：按故障而非全流程付费
🧭 无标签多Agent工作流优化 ★ 深度解读
William & Mary · NEC Corporation of America
提出 INFLOWOP，用统一无标签成本驱动多Agent工作流构建与流内局部修复，在 BRAID 上最高较单Agent提升11.97%
📌 工作参考价值（4 点）
- 在推荐/广告多 Agent 编排中引入成本矩阵对手头模型/工具做适配评分；当子任务（如召回、精排、文案生成）没有合适专家时，触发新 specialist 创建而非强行复用，避免不匹配导致的性能损失。
- 为每个子任务定义输入/输出契约（例如召回需满足相关性、精排输出需符合业务格式），运行时用 semantic matching 检测契约破坏，无需标注即可定位故障属于 assignment 还是 decomposition，适合在线无监督场景。
- 局部修复与缓存复用：某一步失败只暂停该步并重跑下游依赖，保留其他成功结果，避免整套 pipeline 重跑；在广告/搜索工作流中能显著降低推理延迟和计算成本。
- 借鉴 Agent card + self-evolving empirical profile：为每个专家模型维护声明能力与历史成功案例画像，仅用成功样本更新画像，用于后续成本估计和路由决策，比仅靠声明能力带来稳定提升。