HF-SID：面向位置服务生成式检索的高保真语义 ID
🧭 生成式推荐 · Semantic ID ★ 深度解读
AMAP, Alibaba Group · University of Science and Technology of China · Tsinghua University
通过 3D 坐标编码、数值专用编码器与末层结构对比学习，在不增加 SID 长度下大幅提升 LBS 生成式检索的地理与业务指标
📌 工作参考价值（4 点）
- 生成式推荐里别只调 RQ-VAE/codebook：item 表示在量化前若丢失连续数值、层级、地理等信息，量化后无法弥补。优先审视 embedding 是否保住了关键属性。
- 对价格/评分/销量等异构数值，可以用单个 [NUM] token + 数值编码器 + Type Embedding，避免数字被 BPE 切碎、跨属性尺度混淆；这个 trick 可迁移到电商生成式召回。
- 结构对比学习只作用在最后一层残差，能分离同一粗类下的细分类目/共址 item，且不破坏前两层地理/语义前缀；对「同一商圈/同一店铺下的不同商品」场景有直接参考。
- 线上 A/B 显示保真度主要提升 CVR 而非 CTR，说明 SID 影响的是候选资格/品类准确性而非曝光点击；评估生成式检索应更看重转化类指标。
Hi-Q：面向多跳问答的层级证据引导查询细化
🧭 多跳问答的 query 粒度控制 ★ 深度解读
POSTECH
将query粒度作为控制变量，用检索证据支持信号决定是否分解，构建依赖有序的查询树，在全语料多跳QA上显著超过图RAG与迭代检索
📌 工作参考价值（4 点）
- 在电商多跳 query（如“送妈妈生日礼物”）召回中，不要预先固定拆成 N 步；先让 reader 基于召回商品判断当前 query 是否可由证据支持，不可答才触发分解。这种“证据条件触发”比按复杂度静态 Routing 更抗漂移，且无需训练分类器。
- 分解时强制依赖顺序：左分支先解析前提实体/属性（品牌、品类、用户特征），把结果写入 history，再生成右分支 query；工程上用 append-only history 保证下游检索可见前置答案，降低召回干扰。
- 增加一个语义覆盖 verifier：每次二元分解后检查左右子 query 是否完整保留父 query 意图，最多修复一次；在营销活动规则拆解、多条件商品匹配中可减少意图丢失。
- 成本工程：采用短 rationale + 限制递归深度（dmax=1 或 2）的 cost-matched 版本，可在几乎同数量 LLM call 下比迭代检索更准且 API 成本低近一个数量级；优先在 root 节点先试答，可避免大部分不必要展开。
控制-数据流分离：多智能体 LLM 的稳定提示优化
🧭 多智能体控制/数据流分离 ★ 深度解读
University of Waterloo · Manulife
将执行控制协议与可优化文本解耦，用类型化 schema 保证多智能体提示优化不破坏路由/格式，任务性能与稳定性双升
📌 工作参考价值（4 点）
- 在多智能体路由/编排场景（如 query 改写、召回排序、聚合议价）中，把『下一步调哪个 agent / 是否终止 / 输出 JSON 字段』定义成 Literal/dataclass 控制对象，只允许 controller 消费验证后的控制对象，不要把自然语言当路由协议。
- 将 schema 脚手架放进 optimizer 不可读写的 frozen prompt slot；只优化 data-facing prompt。配合 bounded parse retry 与 default valid fallback，可在 TextGrad/DSPy 等优化下维持 100% 协议有效，避免线上 pipeline 崩溃。
- 把任务语义内容（解释、评论、中间结果）留在 unstructured data channel 供其他 agent 与 optimizer 使用，控制层固定后，per-example feedback 对任务质量提升更直接；可用 TextGrad 等做端到端 prompt 优化而不担心格式漂移。
- 工业保险评分案例显示：少量 typed control + 优化后的 prompt 可超过 40+ 行手工领域 prompt，适合电商/广告中规则密集且需要 LLM 协作的评分、审核类 agent 工作流。
LatentPress：超越文本与视觉的上下文压缩
🧭 LLM 上下文压缩 · 连续 soft tokens
Cornell University · Iowa State University
将对话历史与长文档压缩为连续 memory tokens，直接输入冻结解码器，无需文本重建，4-16倍压缩且性能优于文本摘要与OCR压缩
📌 工作参考价值（4 点）
- 可借鉴的架构：用一个小 writer 将长对话历史、行为序列、工具调用记录压缩成 continuous memory tokens，作为 frozen LLM 的输入 embedding 直接读取，省去文本重建和检索排序，适合电商对话助手/Agent 的记忆模块。
- 训练成本极低：只训练 4.2M-26.2M 参数的 adapter（约 decoder 0.1%），frozen decoder，可快速迭代，适合业务场景频繁更新。
- 压缩比选择：4-8 倍压缩在 QA 上可匹配或超过 raw context，16 倍明显退化；在线 Agent 历史压缩建议先用 4-8 倍，在时延与精度间取平衡。
- 写入耗时 43ms/对话，读取快 5-9 倍，比文本摘要或 OCR 重建快一个数量级，能满足在线低延迟要求；零样本跨域迁移表现说明 soft tokens 有潜力作为通用行为表征。
LLM 能否创建并演化自己的 Agent 执行框架？
🧭 Agent 基础设施自动构建与演化评测
ByteDance Seed · Singapore University of Technology and Design · Georgia Institute of Technology · M-A-P · TokenWave.AI
HarnessDev 基准评估 LLM 从零构建并迭代优化 Agent 执行基础设施的能力，发现领域差异大且跨模型迁移受限
📌 工作参考价值（4 点）
- 把 agent harness 当作与模型权重同等重要的优化变量：在电商搜索/推荐 Agent 中，执行循环、工具选择、上下文管理、失败恢复等基础设施设计可直接改变下游任务成功率和 token 成本，建议建立 harness 级 A/B 评测，而不是只换模型或调 prompt。
- 借鉴 Creation/Evolution 两阶段范式：可尝试用强 LLM 基于少量示例自动生成 RAG/推荐 Agent 的执行代码，但必须在 held-out 任务上验证，防止只在开发集上过拟合；对代码、搜索等复杂领域，自动生成 harness 仍落后于人工参考，不要盲目全自动替换。
- 重视执行效率：论文中生成 harness 的执行 token 成本差异很大，实际业务中可把 token 成本作为约束纳入 harness 优化目标，避免高性能但高成本的 harness 上线。
- 注意跨模型迁移性：如果 harness 是为某个 runtime 模型优化得到的，换用其他 LLM 后性能增益可能消失。在多模型混合部署的推荐/搜索服务中，需要按模型或模型族分别评估和调优 harness。
偏好塑造相关性：个性化生成式检索的跨组件层级语义对齐
🧭 生成式检索 · 个性化语义对齐 ★ 深度解读
University of Science and Technology of China · Meituan
提出 CHAP：层级语义对齐与双视图个性化生成式检索，单次解码加速，线上转化提升2.98%
📌 工作参考价值（4 点）
- 冻结 RQ-VAE codebook，对 query encoder 做 cross-sample alignment + 层级对比学习 + soft probability distillation，可显著缩小 query 与 item 的 Semantic ID 语义 gap，适合电商搜索直接复用；但需预留 codebook 动态更新机制，避免丢失协同过滤信号。
- 用 sparse SID + dense raw embedding 双视图建模用户历史：sparse 提供稳定粗排结构，dense 补足长尾/个性化语义，尤其对歧义 query 有效；为防止历史行为淹没当前 query，decoder 初始化只用 query，不要喂完整历史当前缀。
- 推理架构上，将 Transformer Decoder 限制为单次前向，后续层级 SID 用轻量 residual block 生成；并行采样 50 个候选后，用 temperature-normalized sparse/dense 分数乘性融合做重排。该设计把 QPS 从 32.4 提升到 78.9，适合线上低延迟召回。
- 业务目标不要只看 CTR：CHAP 线上 UV-CXR +2.09%、支付订单 +2.98%，说明语义对齐 + 双视图更能触达转化意图；部署时可通过 Triton 解耦模块，不依赖 query cache，保证实时性。
PRIME：用插件式残差输入条件 MoE 缓解共享 CTR Top 网络中的子群优化竞争
🧭 CTR 预测 · 条件 MoE 残差插件 ★ 深度解读
Ant Group · Henan Polytechnic University · Independent Researcher · Alibaba Inc.
提出 Dense 锚定的低秩残差输入条件 MoE 插件，以零残差初始化保持原模型不变，缓解共享 Top-NN 子群梯度竞争并提升 CTR 精度
📌 工作参考价值（5 点）
- 用「锚定原预测 + 零残差初始化」给线上 CTR 模型加条件分支：训练起点与原模型完全一致，避免直接替换 Dense 路径带来的函数突变和上线风险，适合对已有精排模型做渐进式安全升级。
- 条件路由必须放在决策相关表征上：如果子群体差异在特征交叉后才出现，用 pre-cross embedding 路由会失效；建议按业务场景选择路由输入层（如中间 cross 层），并在不同骨架上做消融验证。
- 低秩专家 rank q=16 + 多 bag 平均（G=4）在很小参数/推理开销下获得中位数 AUC 提升；可作为多场景、多广告位精排模型的轻量条件化方案，避免复制完整 MLP。
- 负载均衡用 EMA 更新 router bias，不加 auxiliary loss，消除平衡系数调参和对主目标的干扰；该做法可直接复用到多目标/多场景 MoE。
- 用业务语义分组（站点、设备、时段）对比随机组梯度 cosine，可先诊断共享层是否存在子群竞争，再决定是否需要条件化改造。
RSLM：面向近似最近邻搜索的训练自由向量量化
🧭 向量检索 · ANN索引量化 ★ 深度解读
Google Zurich · Technical University of Munich · University of Copenhagen · Google San Jose
训练自由的分块旋转量化方案，在1-4bit/维下保持召回，降低ANN索引内存与带宽
📌 工作参考价值（4 点）
- 在 IVF/树型索引的 rescoring 阶段，用训练自由旋转量化（尤其相对残差量化）替代 trained PQ/SQ，可省去离线 k-means 训练，快速接入新 embedding 版本或新业务数据集；4-bit RelApproxGlobal 在多个数据集达到 100% recall@20@30，2-bit 达 99%+ recall@20@40，适合 RAG/推荐候选召回的大候选池。
- 采用 block-wise FWHT（块大小 128）实现 O(D) 旋转复杂度，避免 dense rotation O(D^2) 和全局 FWHT 的维度 pad 问题；在非标准维度如 2049 时，编码吞吐比 TurboQuant 快约 36 倍（128k vs 3.5k items/s），适合线上实时 query 预计算。
- 显式校正最终重建向量的 L2 norm（而非只校正残差）对 MIPS 排名很重要，能替代 ScaNN anisotropic loss 的调参；实现时用 2 字节自定义浮点 UE7M9 存 scale，Rslm4Lite 把 scale 隐写到前 16 维的最高 bit，实现零额外元数据，内存对齐更优，吞吐显著提升。
- 在低 bit 场景（1-2 bit）Rslm_Global 超过 Faiss PQ 和 ScaNN AVQ，说明固定 codebook + 旋转 + 全局 norm 校正是一个可复用的低带宽候选评分方案；但注意低维数据增加 scale 存储占比（如 glove 100d 1-bit 增加 15%），更适合高维 embedding。
SetMIR：把多兴趣召回建模为集合预测
🧭 多兴趣向量召回 · Set Prediction ★ 深度解读
Snap Inc.
用 Hungarian 一对一匹配 + presence 门控解决多兴趣召回的兴趣坍缩与固定 ANN 预算问题
📌 工作参考价值（4 点）
- 如果现有多兴趣召回存在 interest collapse，可以直接把 argmax 目标分配换成 Hungarian 一对一匹配，并给未匹配 query 明确的 absence 标签；训练成本低，只增加一个小型匹配步骤。
- 在 ANN 召回侧做动态 query 调度：presence head 先过滤低置信兴趣，再做 query-level NMS 去冗余，平均 ANN 调用可减少 33% 而召回几乎不降；线上可先离线扫描 τ、δ 找安全阈值。
- 已有统一 item embedding 和 ANN 索引时，可以在 user 侧加 learnable queries，item 侧保持单向量，避免改造索引；event-type 的 α-gated embedding 初始化 α=0，能平滑引入行为信号。
- K 不一定要很大：实验里 K=7 已接近 K=10 的 99.8% R@10，生产可先用较小 query bank 控制 decoder 成本。
双边状态空间模型：非随机多模态评论反馈的序列推荐
🧭 双边状态空间序列推荐 · 非随机多模态反馈 ★ 深度解读
Emory University
提出 TS-SSM，同时更新用户与物品状态，利用模态缺失模式与正负反馈不对称衰减，Recall@20 平均提升 14.8%–18.8%
📌 工作参考价值（4 点）
- 将「是否传图、文本长度偏差、评分偏差」作为模态可用性/历史偏差特征，而不是简单缺失掩码：电商推评中可构造类似 δU, δI 的特征，提升对异常满意/不满意的捕捉；即使只有评论文本，text-length deviation 也有效。
- 物品侧维护动态 latent state + 正负反馈不对称衰减：比静态 item embedding 更贴近商品口碑演化，尤其适用于差评长期影响的商品降权或商家质量分；负反馈 decay 更慢，可作为业务策略参考。
- 局部图传播以最近交互商品为 anchor，向同图邻居传递偏好更新，可低成本迁移到召回后重排或实时特征：差评某商品后提高相似替代品权重。
- 工程上：对非目标候选做最新状态 + 时间对齐 gate，避免全量实时更新；辅助预测 drift/carryover/conflict proxies 帮助状态解耦，可在排序模型训练中借鉴。
SimLoss：嵌入空间监督实现单遍细粒度图像描述
🧭 多模态图像描述训练 · Embedding-space 对比学习
University of Massachusetts Amherst · Adobe Research
用冻结图像嵌入的 InfoNCE 对比损失对齐 VLM 隐藏状态，单遍生成细粒度描述，速度提升约20倍
📌 工作参考价值（4 点）
- 在电商商品视觉描述生成中，可用 SimLoss 的嵌入空间对齐：冻结 CLIP 等图像编码器作为教师，用 InfoNCE 让生成模型在解码前对齐视觉特征，无需人工细粒度标注，低成本提升商品属性、材质、计数等描述完整性。
- 对需要实时性的商品文案、图片 alt 文本自动生成，可把多阶段验证流水线替换为单遍生成 + 嵌入空间约束，保持描述质量的同时降低约20倍推理延迟，适合线上部署。
- 黑盒变体 SimLoss GRPO 将嵌入模型作为奖励，可复用现有 GRPO/RLHF 训练框架，对生成式推荐或广告文案模型做奖励优化，避免直接依赖人类标注。
- 注意 InfoNCE 需要较大 batch 或 memory bank 来提供足够负样本；该方法可扩展到商品标题-图像、query-落地页图像等跨模态对齐任务。
StudentSim：训练基于 LLM 的学生模拟器
🧭 LLM 学生模拟与策略 RL
Microsoft Research · University of Illinois Urbana-Champaign
用两阶段训练构建个性化学生模拟器，同时提升行为保真与引导响应，并可作为 tutor RL 奖励
📌 工作参考价值（4 点）
- 构建用户行为模拟器用于推荐/广告/Agent 的离线评估或 RL 时，可采用“全局 pooling 训练 + 按用户 specialization”两阶段路线；尤其适合真实业务中大量稀疏 user-item 行为，既能共享跨用户模式，又能捕获个体偏好。
- 评估模拟器应同时区分“行为保真度”和“策略响应度”：前者衡量像不像真实用户，后者衡量在推荐策略/引导变化下是否合理更新；两者不可偏废，否则会出现只像但不对策略变化反应的“静态画像”模拟器。
- 将高保真用户模拟器作为 reward model 做策略 RL，可用来训练排序/对话式推荐策略；但需要先用 F/R 协议监控模拟器质量，避免 reward hacking。
- 如果只有少量真实用户交互，可借鉴 StudentSimEval 的标准化评测协议，固定训练/评测记录，做可复现的用户模拟器 benchmark。
StudyBench：自进化能否将教科书转化为奥赛能力？
🧭 自进化能力评测基准
Tsinghua University · Zhejiang University
提出受控物理基准 StudyBench，量化自进化从教科书到奥赛能力的吸收与迁移效率，并揭示 Guidance Gap 与 Compute Plateau
📌 工作参考价值（4 点）
- 在自研 Agent/LLM 持续学习或微调项目中，引入「吸收集/迁移集」双层评测，区分同分布刷分与跨分布可迁移能力，避免被 Application Set 式指标误导。
- 当新知识或业务文档以 in-context 形式输入时模型表现明显优于微调后，说明存在 Guidance Gap；此时优先考虑 RAG/上下文增强，而不是急于微调。
- 监控 Compute Plateau：在数据或算力预算远未耗尽时指标已饱和，需要回头审视训练方法、知识表示或合成数据策略，而不是盲目增加数据或训练步数。
- 在搜索/推荐中的 LLM 任务（query 改写、文案生成等）引入持续业务知识时，用受控基准隔离数据、算力、方法因素，能更准确判断迭代方向。
TempCloze：视频 LLM 能识别缺失的中间片段吗？
🧭 视频LLM时间推理评测
The University of Hong Kong · National University of Singapore · Peking University
提出 TempCloze 视频填空基准，评估 Video-LLM 视觉时间推理并揭示时间对齐是主要瓶颈
📌 工作参考价值（4 点）
- 评测设计可借鉴：在评估多模态推荐/Agent 的时间推理时，减少文本选项中介，采用填空式视觉任务（给定前后片段选缺失中间片段），迫使模型依赖视觉时序而非语言措辞；电商直播切片理解、视频商品描述生成等场景可迁移此范式。
- 困难负样本构造：按语义、时序对齐、过程进展三个维度生成同源干扰项，并共享场景与对象以削弱外观线索，可直接用于商品视频对比学习或用户行为序列的负采样，提升模型对精细时间差异的判别力。
- 模型选型提示：Alignment 是主要瓶颈，说明在短视频/直播理解等时间敏感任务中不能只看语义匹配，应专项评估时间对齐能力；选择 Video-LLM 基座或微调时优先考察该维度。
- 工程权衡依据：论文分析 candidate order、context direction、visible span、frame density 和 test-time scaling 对性能的影响，可用于在推理成本受限时决定是否增加帧密度、上下文长度或采样步数，平衡时间推理效果与计算开销。
协调过程监督与结果奖励信用：智能体策略优化 TASPO 框架
🧭 Agent RL 信用分配优化 ★ 深度解读
Zhejiang University
TASPO 用轨迹对齐的特权信息在动作粒度重新分配 GRPO 结果优势，使过程监督不改变结果奖励方向
📌 工作参考价值（4 点）
- 在电商导购/搜索 Agent 的 RL 训练中，若只有订单、成交等稀疏最终奖励，不要直接把历史成功轨迹作为 teacher 做 SFT/蒸馏目标；可以先离线提取「条件规则/证据」并只对当前会话路径匹配，保留适用的特权指导，否则回退 GRPO，这样能避免无关路径信息带来的梯度冲突。
- 信用分配粒度应放在可执行动作（query、工具调用、商品筛选、消息推送等）而非 token 粒度；把 token 概率变化聚合成 action 级分数、再做 trajectory 内去均值与 tanh 重加权，可显著降低训练方差、提升收敛稳定性，并减少成功轨迹所需交互步数。
- 如果团队已有 GRPO 训练流程，TASPO 的改造很轻：只把 trajectory advantage A_i 换成 eA_i = A_i * w_i，保持 w_i 为正、有界 [1-ε,1+ε]、均值 1。这样 outcome 决定方向与平均更新力度，过程信号只做分配，避免了新增蒸馏 loss 和目标冲突，无需额外环境交互。
- 构造 PI 的外部 analyzer 可以是 frozen 大模型，且对模型选择不敏感（DeepSeek/GLM/Qwen 等差异小），工程上可以低成本复用；但前提是必须从 verified successful sibling rollouts 提取证据，并对目标 trajectory 做显式匹配。