TCPα：面向音乐信息检索的边际控制置信度估计
🧭 后处理置信度估计与失败预测
Indian Institute of Technology Kanpur
提出 TCPα 置信度目标，通过边际惩罚分离正误预测，显著提升失败预测性能
📌 工作参考价值（4 点）
- 在电商推荐/广告精排中，模型输出概率常被当作置信度但不可靠。可训练一个轻量置信度头（基于冻结特征），对每个候选输出置信度，用于决定是否展示、降低出价或触发人工审核，减少低质推荐曝光。
- 拒绝低置信预测的策略可直接上线：例如对 CTR 预估置信度低的广告降低出价或放弃展示；对搜索推荐中低置信的结果不展示。论文中 8% 拒绝可将 macro-F1 从 0.89 提升到 0.98，可量化类似收益。
- 域偏移（新品类、新场景）下，只需用 5% 标注样本微调置信度头而非重训主模型，成本低、适应快，适合电商快速变化的业务环境。
- 训练置信度头时错误样本极少导致严重不平衡，论文中的训练策略（加权/重采样等）可迁移到其他二分类失败预测或置信度估计任务。
TLive-Omni：面向电商直播的全模态理解模型
🧭 多模态大模型 · 电商直播理解
Taobao & Tmall Group of Alibaba
面向电商直播的全模态理解模型，通过三阶段监督训练和 Faithful-RFT 强化微调，实现长时多模态流的准确实时理解
📌 工作参考价值（4 点）
- 直播场景中商品信息分散在语音、视频帧、商品图、叠加文字和用户 query，可借鉴 Per-vGrid 时间戳 token 组织：将视频 grid 与对应的音频段放在显式边界 token 内，强化时序对齐，适合长视频理解任务。
- Faithful-RFT 强化微调思路值得迁移：直接对最终答案使用任务可验证反馈打分，而不在 rollout 过程中优化推理式探索，能平衡答案忠实度与实时响应，对电商推荐/客服等延迟敏感场景有参考价值。
- 数据生产引擎将直播音视频流自动转为 ASR、说话人分析、视觉 grounding、OCR、时序 grounding、dense caption、全模态 QA 等原子能力训练信号，可复用到电商内容理解、商品属性抽取与标注。
- 工程实现上，同步长度分组采样减少 padding 且保持多 worker 负载均衡，轻量动态采样保持 GRPO 相对优势，对大规模多模态训练有实用参考。
为测试访谈对话系统生成多样化用户模拟器画像
🧭 用户模拟器 persona 多样性生成
C4A Research Institute, Inc. · SANKEN, University of Osaka · Musashi University
用 LLM 自动生成带沟通风格人格特质的用户画像，提升访谈对话系统测试中用户模拟器的行为多样性
📌 工作参考价值（3 点）
- 在构建 Agent 用户模拟器做评测或数据合成时，可复用「LLM 生成 persona + 显式注入沟通风格人格特质」的方法，低成本扩大用户行为覆盖面，避免人工构造 personas 的瓶颈。
- 对于需要模拟多样化用户场景（如访谈、客服、搜索会话）的评测，可先定义人格特质维度（如沟通风格），再让 LLM 根据特质生成 personas，从而控制多样性。
- 如果要为推荐/搜索 Agent 做模拟评测，可以用类似思路生成不同背景、偏好、表达习惯的用户，帮助发现 Agent 对长尾用户行为的鲁棒性。
委托还是亲为？理解混合人-代理界面中的用户行为
🧭 人机混合界面委托行为研究
Future University, Hakodate · De La Salle University
研究发现LLM代理混合界面主要降低交互努力而非提升速度，委派行为个体差异远大于任务差异
📌 工作参考价值（4 点）
- 在电商后台、内容管理或广告投放工具等混合GUI+Agent场景中，提供“委托+直接操作”模式可显著降低点击、翻页、滚动等物理交互成本，但不应指望它缩短任务完成时间；可将降低操作负担作为体验优化指标，而非单纯追求效率。
- 委派行为个体差异大（ICC=.50），远超任务类型差异，说明用户对Agent信任/偏好分化明显。在Agent产品设计中，可支持个性化默认模式（AI-First vs 手动优先），或基于用户历史委派行为动态调整界面默认入口与交互引导。
- 未发现CRUD操作类型（如高风险删除）与委派行为的相关性，用户不会系统性回避高风险委派。因此在设计商品下架、删除等高危操作的Agent能力时，应把风险控制内置到执行流程（如确认、回滚、权限校验），而不是假设用户会因风险而避免使用Agent。
- 通过MCP连接LLM agent，可快速为已有系统增加自然语言操作能力，复用现有API。对于电商/推荐工程团队，这是低成本为内部工具或运营后台增加Agent交互的路径。
薛定谔的代码仓库：LLM 是学会还是背下了 SWE-bench？
🧭 LLM 评估 · 防泄漏动态实例化
Shanghai Jiao Tong University · Xi'an Jiaotong University · East China Normal University · Shanghai Innovation Institute
提出动态实例化仓库的评估框架，通过四种变换擦除熟悉线索，证明 LLM 编码智能体部分依赖记忆表面特征
📌 工作参考价值（4 点）
- 构建 Agent 或模型评测集时，对公开数据做表面扰动（重命名变量/函数、重排文件布局、语义等价改写）可暴露模型对表面特征的记忆，适用于 RAG 检索评测、商品知识问答或推荐 Agent 场景。
- 若模型在扰动后性能显著下降且交互轮次增加，说明其依赖记忆而非泛化检索；线上 Agent 遇到陌生仓库/商品目录结构时应关注探索成本，可引入定位模块或结构化索引减少无谓搜索。
- 四个变换层级可作为数据增强手段，训练模型对命名和布局不敏感，提升 Agent 在未见数据上的鲁棒性。
- 保留可执行行为同时擦除命名与布局思路，可用于生成语义等价的防泄漏测试集，避免线上评测被事先见过的文档或代码污染。
序列推荐基准是否需要高阶序列建模？
🧭 序列推荐基准评测 · 容量探针 ★ 深度解读
Spotify
用 recency 加权成对转移探针发现多数基准无需高阶建模，Transformer 增益被高估
📌 工作参考价值（4 点）
- 在电商/广告序列推荐中，先实现一个强 pairwise transition 基线（如 PCTM 或 SeqRules）作为“照妖镜”，避免被 Transformer 在弱基准上的虚假增益误导；尤其当数据规模小、用户行为以短会话为主时，简单模型可能足够。
- 评估新模型时，务必使用 full-catalogue ranking + seen-item filtering 的严格协议，不要用 sampled softmax 或 paper-to-paper 比较；否则像 TIGER 这类生成式推荐在 Beauty/Sports/Toys 上可能被简单探针反超 65-70%，说明基准本身不支撑 SOTA 宣称。
- PCTM 的工程实现很轻：离线统计有向转移计数（距离衰减），在线做加权 log-prob 求和；无 embedding、无序列编码器，适合作为召回通道或冷启动兜底，尤其适合需要快速上线的场景。
- 当你要引入 Transformer/LLM 做序列推荐时，先检查数据集是否“pairwise-sufficient”：如果成对转移+recency 已经解释了大部分 NDCG，那么高阶建模的增量有限，应优先投入特征工程或更真实的工业数据。
学会遗忘：长上下文稀疏注意力的微调方法
🧭 长上下文稀疏注意力微调 ★ 深度解读
Amazon Web Services · University of Amsterdam · Amazon · Technical University Berlin
提出在任意 KV cache 策略下微调 LLM 的方法，使模型与稀疏注意力协同适应，在中等 GPU 上超越序列并行训练
📌 工作参考价值（4 点）
- 训练/推理一致性：若线上推理启用 H2O、SnapKV 等稀疏 KV cache 策略，微调时务必使用同一策略做前向，否则模型在稀疏推理下会出现输出过长、乱码；论文中 SP 训练模型在多个 Helmet 任务上严重退化。
- 低成本长上下文微调：单卡 40GB 可用 LoRA + 嵌套激活检查点 + CPU offload + delta encoding 处理 KV cache，将 autograd 显存降至与推理相当，适合多轮对话、长工具输出、长行为序列等场景。
- 缓存策略 trick：H2O 归一化累积注意力分数、batch 维度独立淘汰、保留少量 attention sink 前 β 个 token，能提升长上下文稳定性；避免全局统一淘汰。
- 工程落地：可复用 KeysAndValues 库快速对比策略；推动 SDPA kernel 支持返回 summed attention weights 和隐式 causal mask，降低稀疏注意力延迟。
学习何时思考：面向测试时计算分配的自适应推理
🧭 LLM 自适应推理 · GRPO 自路由 ★ 深度解读
Vrije Universiteit Amsterdam
1.5B 蒸馏推理模型在 GRPO 内学会用首个 token 自路由 NoThink/Short/Long 三模式，平均响应长度减少 41% 且保持精度-长度帕累托前沿
📌 工作参考价值（4 点）
- 在电商搜索 query 理解、推荐解释、智能客服等 LLM 推理服务中，可部署“首个 token 路由”让主模型自行选择 NoThink/Short/Long，无需额外 router 网络；简单流量占多数时可节省 50%+ 推理成本，精度损失极小。
- 训练多模式策略时，用硬 token cap 把路由标签与行为绑定：给短模式设 1024/3000 上限，超过即判错，防止模型选短模式却输出长链，同时保留 Long 模式处理难题。
- 在 GRPO 中加入负载平衡项防止模式坍塌：advantage 里加 β_bal*(p* - f_mode)，并做非对称门控——只惩罚错误过载模式的 rollout、只奖励正确欠载模式，不破坏正确样本梯度。
- 先离线分析业务任务难度分布再上路由；若难度同质（如 Countdown 负例），路由学不到价值差距，会坍塌为单一模式。
训练自由 LLM 推荐的后置物品精炼：利用协作信号
🧭 训练自由 LLM 推荐 · 协作信号后置精炼 ★ 深度解读
KAIST · Snap Inc.
提出 CoRRe，在不微调 LLM 的前提下，通过共购图方向传播与流行度模长校准精炼物品嵌入，大幅提升训练自由推荐效果
📌 工作参考价值（4 点）
- 在电商/推荐中，若已用 LLM 生成用户兴趣 query embedding，可对物品标题 embedding 做后处理：构建 item-item 共购图（R^T R），做对称归一化传播，再与原始语义 embedding 加权组合，无需训练就能融合协作信号，适合作为零成本召回/粗排增强。
- 物品流行度对检索分数影响显著，可对 embedding 模长做 popularity^alpha 校准；超参 alpha 通常取 0.05-0.2，数据集不同最优值差异大，建议按业务域单独验证。
- 该方法证明 pre-LLM 的 RAG/rerank 注入协作信号增益有限，post-LLM 对 item 表示直接精炼更有效；在资源受限或冷启动场景可优先尝试训练-free 后处理路线。
- 若业务有共购/共点击数据，可以完全复用该框架：用 LLM 文本编码器得到统一向量空间，再叠加图传播与模长校准，实现快速迭代验证。
一步一步扩展：大规模混合专家模型的计算高效超参数迁移
🧭 大规模MoE训练超参数迁移
Kakao Corp. · Upstage AI
提出计算高效的两步超参数迁移框架，通过宽度缩放迁移与token外推预测大规模MoE最优学习率
📌 工作参考价值（3 点）
- 在训练大规模 MoE 推荐/广告模型时，可采用 μP 参数化 + 宽度缩放代理模型快速确定学习率，避免对完整尺寸模型做昂贵的超参扫描。对于需要频繁调整专家数量或模型宽度的业务，μP 让最优 LR 在不同宽度间稳定迁移，显著降低调参成本。
- 利用小代理模型在有限 token 预算下的 LR 扫描结果，通过线性回归外推到生产模型的超长训练 horizon（如 10T tokens），R²=0.95 表明该迁移对 MoE 架构高度可靠。训练 infra 团队可据此搭建低成本 proxy 流程，预测大模型最优配置。
- 若业务落地 DeepSeek-V3 类 MoE 架构（含 Multi-head Latent Attention 和 Muon optimizer），需同步引入对应的 μP 适配，否则学习率等配置无法跨模型尺寸复用。工程上应把参数化与优化器选择固化进训练代码，保证迁移性。
在线约会中对话AI代理的双向接受度：Fledge.Love双语调查数据集
🧭 对话式AI Agent 用户态度数据集
Fleamily, Inc., Delaware, USA · Lucy Family Institute for Data & Society, University of Notre Dame, Notre Dame, Indiana, USA
发布两个双语调查数据集，分离用户对部署自身代理与遭遇他人代理的接受度及对生成式AI功能的兴趣
📌 工作参考价值（4 点）
- 调查设计将用户角色拆分为“代理部署方”和“代理遭遇方”，电商/客服场景中评估用户对 Agent 的态度时也应分开测量，避免混淆部署意愿与接受接触意愿。
- 数据集发布流水线包含 k-anonymity 审计和双语 codebook，可复用为内部用户研究数据匿名化与文档规范，尤其适合跨境多语言产品的用户调研。
- 对被动生成式 AI 功能（如自动摘要、消息建议）的兴趣测量，可直接迁移到电商详情页生成、客服话术建议等功能的 pre-launch 接受度调研。
- 该数据集本身不涉及推荐算法，但可作为用户对生成式推荐解释或对话式购物助手态度的先验参考；若做类似用户研究，可借鉴其量表结构。
正交 JEPA：面向潜在世界模型的因子化预测状态
🧭 预测表征学习 · 世界模型
The Chinese University of Hong Kong (CUHK)
提出正交预测因子化框架，将目标状态分解为多个正交组件分别预测，缓解主导信号对表征学习的干扰
📌 工作参考价值（4 点）
- 多任务/多目标推荐中共享 backbone 常面临负迁移：可借鉴正交因子分解，将目标空间分解为多个正交组件，每个任务/目标使用独立预测头，显式鼓励任务表征方向不重叠，缓解主导任务（如 CTR）对辅助任务（如收藏、GMV）的梯度压制。
- 在用户序列建模或商品表征预训练中，JEPA 式自监督学习可用：对 next-item 预测或跨视图预测，把目标 embedding 用基矩阵分解为多个正交因子，分别预测后合成，避免单一预测头只拟合热门/高频特征，提升对长尾兴趣的覆盖。
- 在线方差正则化可防止 embedding 坐标坍缩，适合推荐模型 embedding 层或序列编码器，避免有效维度减少；因子活动正则化思想可迁移到多兴趣表征，保持不同兴趣向量的多样性。
- 该预测状态机制可支持 planning/rollout，对 Agent 在推荐环境中做用户模拟或策略评估时，可构建因子化世界模型，生成更稳定的用户状态转移。
知识引导的智能体框架缓解健康查询中的患者上下文歧义
🧭 知识引导的查询澄清Agent
在LLM前插入知识图谱驱动的澄清Agent，主动追问缺失患者信息，大幅提升下游回答准确性与一致性
📌 工作参考价值（4 点）
- 可在电商搜索/推荐入口前增加轻量级澄清层：用商品知识图谱（属性、类目、场景标签）枚举可能的意图假设，识别区分度最高的缺失属性（如价格带、适用人群、使用场景），生成1-2个针对性追问，而非直接让LLM回答，从而降低用户短查询的歧义。
- 保持下游LLM/推荐模型不变，只需将原始query与收集到的用户上下文拼接成 clarified prompt 注入，避免微调成本；澄清问题由知识图谱驱动，减少无关追问，控制交互轮次。
- 评估澄清效果可借鉴论文指标：对比澄清前后的 Top-1 准确率、Recall@5，以及多次生成结果的预测一致性（如熵或方差），用于衡量上下文补充对模型不确定性的降低。
- 对线上系统可按不确定性触发澄清：先让LLM对query生成候选答案并计算置信度，仅对低置信度或意图分布分散的query启动澄清流程，平衡用户体验与转化率。
主动数据收集、出行行为建模与天气敏感需求预测的智能体方法
🧭 LLM 行为预测 · 多 Agent 工作流
Department of Civil Engineering, McGill University
三 Agent 工作流整合对话式调查、数据处理与 LLM 出行预测，多模态最佳达 71.5% 准确率
📌 工作参考价值（4 点）
- 行为预测/用户偏好建模：将“习惯性历史信息”类比用户历史点击/购买序列，加入 prompt 可稳定提升准确率；在生成式推荐或排序中优先注入用户行为特征，而非仅依赖 persona 或角色描述。
- Prompt 策略：采用“专家”角色描述优于一般“角色扮演”；persona 只在缺少行为历史时收益更大；few-shot 仅需少量示例即可提升，示例过多边际收益递减，适合线上 prompt 成本控制。
- 多模态信号：用用户实际看到的图像（商品图、场景图）作为视觉上下文，可使 LLM 预测提升（最佳 71.5%），建议在多模态商品推荐或内容理解中复用同一视觉输入。
- Agent 工作流可审计性：将数据收集、结构化、预测拆分为三个 agent，便于追踪数据版本和模型决策，适合在电商/广告场景构建数据飞轮与离线评估管线。
注入、对齐、恢复：面向无检索文档知识内化的分阶段后训练
🧭 LLM 后训练 · 文档知识内化
Beijing Academy of Artificial Intelligence (BAAI)
提出IAR三阶段后训练框架，将固定文档语料内化为LLM参数知识，兼顾领域QA与通用能力
📌 工作参考价值（4 点）
- 在电商/客服场景需要将商品库、政策文档内化到LLM以支持无检索问答时，可将文档转为多种重构目标（续写、改写、指令条件重建）做注入，比单纯 continued pretraining 更利于后续指令跟随。
- 三阶段分离有效：先注入领域知识，再做答案监督的QA对齐，最后将领域模型与基座指令模型合并恢复通用能力——这种“领域适配+模型合并”模式可直接复用到导购Agent、店铺客服模型，避免灾难性遗忘。
- 若算力受限，LoRA/FAPM 等参数高效方法在部分通用指标上可赢，但 IAR 在领域内化与通用能力平衡上更稳；业务中优先选择 IAR 式全量阶段或混合方案。
- 评估时同时报告领域QA准确率和 IFEval/MMLU 等通用指标，避免只盯领域指标导致通用能力坍塌；业务中应建立类似的领域-通用双维度评测。