双角色标识符的生成式通用多模态检索
🧭 生成式多模态检索 · 双角色 Semantic ID ★ 深度解读
Independent Researcher, Japan · Institute of Library, Information and Media Science, University of Tsukuba, Japan · College of Knowledge and Library Sciences, University of Tsukuba, Japan
DrIG 将同一残差量化 ID 同时作为顺序解码序列和无序集合先验，缓解前缀剪枝错误，并以 dense 重排补偿量化损失
📌 工作参考价值（4 点）
- 双角色 Semantic ID 可直接用于生成式召回：将商品 ID 设计为分层量化 token，第一层编码类目/模态，其余层编码语义；推理时 beam search 不仅用 decoder 序列分数，还加入由 ID 无序集合计算的全局相关性分数，缓解 beam search 前缀剪枝误杀。
- 生成召回 + dense 精排是现实的混合架构：先用轻量生成式模型通过 Trie 约束 beam search 召回 top-k，再用 query/item embedding 余弦相似度重排，避免全库 ANN 打分，额外成本仅为 O(kd)，适合大规模电商商品库。
- Query augmentation 与判别排序目标可迁移：用 query-target embedding 的 Beta 插值生成增强 query 稳定生成器训练；用 teacher 相似度计算 adaptive margin 的 pairwise ranking loss，使 decoder 序列分数更贴近排序目标，适合用于生成式商品召回的训练。
- LMM 作为多模态 item embedding 编码器：用 “summarize in one word” 提示提取 <emb> 前 hidden state 作为通用多模态表示，再做多任务对比微调，可复用到图文商品/内容理解与跨模态召回。
谁发言重要：面向意大利议会记录的权威感知多视角RAG
🧭 权威感知的多视角 RAG 专家检索
University of Milano-Bicocca, Milan, Italy
以查询依赖的说话者权威模型驱动多视角摘要，在议会语料上实现高引文忠实度与政治团体覆盖
📌 工作参考价值（4 点）
- 在电商评价、内容导购或专家问答中，可对 UGC 作者/KOL 构建查询依赖的权威度特征（职业、历史发言、主题相关度），而非仅按点赞量或影响力加权，降低头部作者主导。
- 多视角摘要可迁移到商品评论区、直播切片观点提取：先检索相关 chunk，再识别跨立场的领域专家，最后生成综合摘要并强制附带原文引用，配合 faithfulness 校验降低错误归因。
- 可借鉴政治团体覆盖度指标，在推荐或内容聚合场景衡量不同品牌/品类/观点群体的覆盖，防止少数头部主导曝光，提升多样性。
- 架构上将「检索 → 专家识别 → 综合生成」解耦，便于在 Agent 系统中替换各模块（如专家知识图谱、引用验证器）。
StreamTTT：在流式视觉语言模型中协调实时感知与长期记忆
🧭 流式视觉语言模型 · 快速权重记忆
National University of Singapore · Karlsruhe Institute of Technology
提出StreamTTT将长程历史写入在线更新的快速权重，缓解流式VLM感知与记忆的权衡
📌 工作参考价值（4 点）
- 长期记忆外部化：把长程历史压缩到在线更新的快速权重（fast weights）中，避免全部塞入Transformer上下文造成注意力稀释，类似推荐系统中将用户长期兴趣建模在外部参数，短期会话保持滑动窗口。
- 滑动KV cache只留近期证据：在实时推荐/流式用户行为建模中，可以只保留最近交互的KV缓存，将长历史沉淀到可更新的小网络，实现低延迟实时推理。
- 在线更新参数替代全量缓存：快速权重在线更新机制类似TTT，对用户兴趣漂移建模可尝试用小参数在线学习历史，避免维护超长序列。
- 混合训练数据构造：联合离线长视频QA与实时QA训练，启发在电商推荐中混合长期历史序列和实时行为数据进行联合优化，提升长期记忆与实时感知的平衡。
TabSOM：基于自组织映射的表格到图像编码方法
🧭 表格数据图像化编码与可解释性
用SOM组件平面布局特征并建模特征间关系，将表格数据编码为图像以提升CNN/ViT的分类性能与可解释性
📌 工作参考价值（4 点）
- 在电商/推荐特征工程中，当需要把混合类型表格特征喂给 CNN/ViT 做多模态或排序时，可借鉴 TabSOM 的 SOM 布局思路：用 SOM 分量平面做特征定位，稳定且保留相似特征空间关系，避免 t-SNE/UMAP 随机性和仅编码边际值的问题。
- 显式建模特征交互：TabSOM 第二通道把 pair 关系画成空间连接，可启发我们用图像/图混合输入增强深度学习排序模型对交叉特征的表达能力，尤其在特征数量不多但交互重要的场景（如用户×商品属性）。
- 可解释性工具：class-separation importance score 以 SOM 原型为基础，能给出全局重要性和原型级别的局部解释，可作为 SHAP 的补充，用于推荐模型特征归因和排查线上 bad case。
- 工程实现注意：Hungarian assignment 保证特征在画布位置无冲突且固定，利于增量训练/缓存特征图像；多尺度节点通道让模型同时看到精细和粗粒度模式，值得在构建图像化特征时复用。
探测方向是其提示的属性
🧭 模型评估 · 线性探测可靠性
Devoteam
线性探测评估中“宣布评估”的提示措辞主导探测分数，单提示设计不可靠
📌 工作参考价值（4 点）
- 业务中用 LLM 做评估（推荐理由生成、搜索结果排序、Agent 能力评测）时，别把某个“标准提示模板”当作唯一测量工具：提示措辞会直接改变评估结论甚至模型相对排名。应把提示视为随机因子，准备多个语义等价变体，报告跨提示方差。
- 模型选型或 A/B 测试之前，不要只增加评估样本数量来提升可靠性：样本增加无法修复由提示选择带来的系统偏差；优先增加提示多样性，并估算达到可接受信度所需的最少提示数。
- 警惕表面形式捷径：如果模型或裁判模型只依赖格式、关键词等表面特征就能通过评估，说明测量可能没有捕捉真实能力。在设计自动化评测时加入表面形式对照组，检查得分是否真的反映目标能力。
- 跨模型比较必须采用多提示设计：在电商搜索/推荐场景中，不能用一个提示下的准确率对比 LLM 选型或推荐文案生成质量；应根据论文给出的提示数量规划，避免单提示结论误导上线决策。
TRAPSBench：视觉语言模型编码了认知克制却无法表达
🧭 多模态 VLM 视觉不确定性下的克制与评估
Meta Superintelligence Labs
VLM 内部能识别证据不足但输出不克制；提出 TRAPSBench 和 PECS，定位表达瓶颈
📌 工作参考价值（4 点）
- 在电商/广告的视觉智能体（商品图审核、直播切片理解、图文问答）中，模型对图像遮挡/模糊常过度自信；不要只靠 prompt 或 logit 置信度，可在 hidden states 上训轻量 probe 识别“不可判定”，作为路由/兜底信号。
- 评估不能只看准确率：可借鉴 PECS 构造 matched pairs（同一 case 只改一个关键帧/遮挡物/文字），要求可判定时答对、不可判定时弃权；在线上可把拒答率与人工差评率、客诉率挂钩。
- 文本不确定性比视觉不确定性更易被识别；若 Agent 含多模态输入，视觉分支应单独做 epistemic gate，避免文本线索足够时掩盖视觉证据缺失。
- 工程化干预放在 output stage 更划算（单层 steering / refusal head / adapter），因为模型内部已有可解码的答案性信息，无需从头训练大模型；这对搜索推荐中的多模态生成式模型做安全拒答也可复用。
Vero：AI Agent 能构建形式化验证的软件仓库吗
🧭 AI Agent 形式化验证代码生成基准
UC Berkeley · University of Chicago · California Institute of Technology · Stanford University · Amazon Web Services
首个仓库级实现与证明联合合成的形式化验证基准，当前最强 Agent 仅完全解决 27/43
📌 工作参考价值（4 点）
- 在电商/推荐系统的关键路径（如扣费、库存、ETL 数据一致性）中引入形式化验证 gate：为 API 接口编写 spec 和机器可检查证明，替代或补充单测，避免边界条件下的隐性 bug。
- 评估内部 AI coding agent 时，不要仅看测试通过率；可仿照 Vero 设计双模式评测：proof-only（只补证明）和 code-and-proof（实现+证明联合生成），衡量 agent 能否在多模块上下文中保持规范一致性。
- 采用 Vero 的审计机制：允许 agent 证明 spec 不可满足或参考实现错误，用于自动发现接口契约或参考代码中的隐含缺陷；迁移到业务中可对服务间契约建立形式化检查，提前暴露集成矛盾。
- 仓库级验证思维对微服务架构有参考意义：把跨服务数据流、状态迁移约束用 Lean 4 等语言形式化，不仅能保证单个模块正确，还能验证跨模块组合语义，适合交易链路等高可靠场景。
Wasserstein 过滤：一种用于鲁棒分布学习的样本选择方法
🧭 鲁棒分布学习与异常检测
The Hong Kong Polytechnic University · Fudan University
提出 Wasserstein Filtering，通过最大化子集与污染数据集的 Wasserstein 距离来剔除异常样本，并给出可扩展算法
📌 工作参考价值（4 点）
- 可作为训练数据清洗的通用预处理工具：在用户行为日志、点击数据中常混有 bot 流量或噪声样本，WF 用分布距离直接筛选干净子集，不依赖具体模型，适合在特征工程阶段引入。
- 边际筛选算法 SinkMarg 计算快，适合大规模推荐/广告日志的初筛；需要更高精度时再用 SinkWF 或 SlicedWF 做联合优化，工程上可以分两级漏斗。
- 对生成式推荐或创意生成模型：若训练数据含大量低质/异常样本，WF 能先筛出干净数据，再训练 diffusion 等生成模型，缓解模式坍塌或生成质量下降。
- 异常检测场景中，WF 的“最大化 Wasserstein 距离”思路可迁移到流量反作弊、异常用户识别，作为无监督异常分数的一种新视角。
先结构后查询：实现非结构化文档的精确分析查询
🧭 非结构化文档的结构化查询与分析
HKUST(GZ)
AnnoIndex 用自动标注模式构建结构化索引，结合 SQL 扩展查询引擎，以 0.87 F1 实现低成本精确文档分析
📌 工作参考价值（4 点）
- 用 annotation index 替代纯向量检索：对商品描述、用户评论、客服工单等非结构化文本，可预先用轻量模型抽取属性（如品牌、价格、功效），构建结构化索引，支持精确过滤，降低在线 LLM 调用成本。
- SchemaLoop 自动生成层级 schema：在电商类目/属性挖掘中可借鉴，从语料中自动归纳属性体系，避免手工定义大量标签字典；轻量模型抽取后增量合并，持续丰富知识库。
- 分层查询执行计划：先低成本过滤（倒排/SQL），再逐步对少量候选调用高成本 LLM 做深层语义分析，适合大规模商品库/内容库上的复杂查询与推理。
- 查询结果反哺索引：将抽取的新属性写回 annotation index，形成持续增值的文档知识库，类似用户行为/反馈数据不断补充商品标签与属性。
向量数据库近似最近邻搜索综合评测：性能、质量与资源权衡
🧭 向量数据库 ANNS 基准评测
University of Kelaniya
在6个数据集上评测7个向量数据库，揭示FAISS吞吐最高、Weaviate召回最好、Qdrant延迟最低，并开源框架
📌 工作参考价值（4 点）
- 在电商/RAG/推荐系统中，向量检索是高频依赖，选型时可参考评测结论：追求极致吞吐选 FAISS（但需自建数据库管理）；需要开箱即用高召回选 Weaviate；对延迟敏感选 Qdrant；快速冷启动/索引构建选 LanceDB。
- 作者开源了基准测试框架，可将自家业务数据集和查询负载直接套用，横向对比候选向量库在真实 query 分布下的 Recall@K、P99 延迟、内存/存储占用，避免盲目选型。
- 关注 cold-start latency（首次查询或容器冷启动）指标，对在线服务弹性扩缩容和 serverless 部署有实际参考价值；评测显示部分系统冷启动开销差异大。
- 结合资源消耗（索引构建时间、内存、存储）与查询性能做权衡：LanceDB 通过牺牲召回换取极快索引构建，适合频繁重建索引或数据快速流入的场景，如实时用户行为 embedding 更新。
训练 AI 科学家复现研究
🧭 AI Scientist 智能体训练
Inherent
构建论文复现任务集 Replica 与低噪声自动打分 judge，后训练 27B Faraday 智能体在复现任务上超越 Claude Opus 4.8 和 GPT-5.5
📌 工作参考价值（4 点）
- 自动生成评分 rubric 的思路可迁移到电商 Agent 评估：用可自动构建的细粒度 rubric 替代人类打分，能降低标注成本、减少评分噪声，适合评估推荐解释、query 改写质量或 Agent 执行轨迹。
- 用编码 Agent 作为工具是轻量级垂直 Agent 的有效构造方式：不必事事靠大模型规划，把可验证的子任务交给代码执行器，能在复现/批处理/数据管道等场景里提升稳定性和可复现性。
- 后训练 27B 小模型在垂直任务上超过 GPT-5.5 和 Claude Opus 4.8：说明在定义清晰、有自动 reward 的任务中，用中等规模模型+领域数据微调是性价比很高的选择，适合电商内部 Agent 落地。
- 低噪声 judge 可以作为强化学习 reward 信号：如果你的业务 Agent 需要 RL 优化（如广告文案生成、搜索 query 推荐），可借鉴这种 rubric-based 自动 judge 设计，减少 reward hacking。
训练混合：将小规模脚手架预训练运行重组为更大语言模型
🧭 模块化 LLM 预训练 · 脚手架重组 ★ 深度解读
Google, Mountain View, CA, USA · School of Computing, Dublin City University, Dublin, Ireland
提出 MoT：在冻结对齐器脚手架中独立训练 Transformer 深度块并重组，验证模块化预训练可行性
📌 工作参考价值（4 点）
- 模块化底座与多域迁移：若做电商/广告/搜索的多域 LLM 底座，可把不同领域的深度 block 独立训练再重组，避免每次全量重训；复用 off-the-shelf aligner 作为稳定表示接口，重组后加少量 end-to-end adaptation 回补接口错配。但要把 aligner 成本按复用次数摊销，R≥3 才有净收益。
- 数据流设计 trick：aligner 存在时，给各子模型上 disjoint data streams 能改善冷组合 PPL（19.3 vs 20.3），没有 aligner 反而恶化；说明在表示接口稳定后，更广 token 覆盖对模块化重组有帮助，可直接用于多 worker 独立训练的数据划分策略。
- 工程核算与调度：把训练成本拆成 train EF / full-charge EF / amortized EF，并估算 layer-equivalent critical path，有助于在做出“模块化训练更省”的结论前避免被 aligner 一次性成本误导；Stage 1 各 scaffold 可并行、故障可局部恢复，适合小规模科研迭代或需要隔离故障的长训练任务。
- 风险与局限：当前仅验证 PPL，未测 downstream reasoning/校准/鲁棒性；在竞价广告/推荐排序这类对业务指标敏感的场景，不能假设模块化预训练模型可直接替换 monolithic，需要补做 SFT/RLHF 或在线 A/B 评估。
语言模型预训练中任务无关训练数据影响度量
🧭 训练数据影响分析 · 预训练动态
Nara Institute of Science and Technology · NII LLMC · Waseda University · The University of Tokyo · IT University of Copenhagen
提出一种无需下游任务或验证集的训练数据影响度量，通过梯度更新对最终参数距离的缩减来估计样本贡献
📌 工作参考价值（4 点）
- 在大规模预训练或微调中，可借鉴该任务无关的影响度量：不需要人工定义验证集，只需利用中间checkpoint和最终参数的梯度投影，即可对每个训练样本的重要性打分，适合数据清洗和异常样本排查。
- 发现的影响数据时序变化（早期文学类数据、后期STEM数据）提示课程学习策略：在推荐或Agent模型的预训练阶段，可以按数据域动态调整采样权重，初期侧重通用/文本类数据，后期逐步引入垂直领域或结构化数据。
- 该方法只需存储中间checkpoint，计算成本低，且无需重新训练，适合工程实现中定期对训练语料进行影响审计，为数据版本管理和数据溯源提供量化依据。
- 在生成式推荐或LLM4Rec场景中，可以利用此思路分析哪些训练样本对最终推荐生成能力贡献最大，辅助构建高质量指令微调数据集。
越流行越难遗忘：LLM 遗忘的自适应流行度策略
🧭 LLM 遗忘训练 · 流行度自适应
AIRI · Sber AI Lab · Skoltech · ISP RAS Research Center for Trusted Artificial Intelligence
AdaPop 按事实流行度自适应调整遗忘梯度，并用双上升控制器自动平衡遗忘/保留，显著降低遗忘内容泄露
📌 工作参考价值（4 点）
- 把「流行度」引入遗忘/更新训练：电商场景中需要让 LLM 遗忘下架商品、过期活动或用户隐私数据时，不要对所有遗忘样本用统一梯度。可以用商品销量、点击量、评论数、搜索热度等作为流行度代理，让热门实体获得更强的遗忘压力，冷门实体减小遗忘力度，避免过度擦除长尾信息。
- 用外部代理估算知识流行度：如果内部训练数据频率不可得，可以借鉴 AdaPop 使用 Wikidata sitelinks 或 LLM-as-Judge 的思路，在业务中用知识图谱连接数、商品关联关系数、LLM 对事实重要性的打分作为替代，计算 per-example 的 exponent，指导梯度缩放。
- 自动调节 retain penalty 的 dual-ascent 控制器：线上持续学习或定期遗忘时，手动设置遗忘/保留损失权重很脆弱。可参考每 epoch 根据保留集表现自动调整保留惩罚，减少对超参搜索的依赖，在删除目标知识的同时维持推荐/问答质量。
- 用隐藏状态距离做内部监控：除了最终行为指标，可以跟踪遗忘集和保留集的隐藏状态相对未更新模型的距离，作为遗忘充分性与保留完整性的 early signal，便于训练中及早发现遗忘不足或过度遗忘。
证据引导的多跳图检索查询重构
🧭 RAG · 多跳图检索查询重构
Nanjing University of Information Science and Technology · Meituan
利用已检索证据生成残差查询，分离查询重构与图证据聚合，提升多跳检索 Recall@5 与 F1
📌 工作参考价值（4 点）
- 多跳检索中引入残差查询：在商品图谱问答或客服 RAG 中，初始 query 往往只指向第一跳实体，后续证据需要新查询补充。可仿照 EviReform，用已命中的商品/属性片段生成 residual query，针对尚未解决的信息需求定向检索，避免把所有证据混在一个 query 向量里。
- 分离查询修正与图聚合：不要每拿到新证据就重新编码整个 query 或图。工程上可以并行计算原始 query 和多个残差 query 的检索分数，分别归一化后加权融合，再在实体/商品关系图上传播。这样既保留原意图，又能灵活吸收中途证据。
- 利用语义证据引导图遍历：在商品知识图谱或内容关系图中，边权重可以结合当前已观察到的实体语义相似度，而非仅依赖静态关系。例如用户问“A 品牌手机续航如何”，先用 A 品牌手机命中节点，再根据该节点生成“电池容量/快充”残差查询，补充商品属性节点。
- 评估指标与成本意识：论文中 Recall@5 最高提升 5.59 点，说明少量残差查询即可带来显著收益。在业务中可控制每轮残差查询数量（如 1-3 个），平衡检索延迟与召回提升。