LLM 预训练中领域数据重复的规模化规律
🧭 LLM 预训练数据重复策略
Tsinghua University · ByteDance Seed
固定 TPP 下最优领域重复次数随模型规模略增且与领域验证损失强负相关，可用小模型外推
📌 工作参考价值（4 点）
- 高质量领域数据有限时，不必盲目避免重复：对模型拟合好、验证损失低的领域，可以安全增加重复次数；可先在小模型上观察不同重复率对验证损失的影响，找到临界点。
- 在数据配比流程中，不要只依据唯一数据量判断领域重要性；用小代理模型（相同 TPP）快速扫描各领域最优重复次数，再将结果外推到大模型，可大幅降低大模型实验成本。
- 推荐/搜索场景中，若某些高价值目标域（如特定类目、核心 query 意图）数据稀缺，可借鉴该重复策略，但需持续监控验证损失，防止从“低损失高可重复”偏移为过拟合。
- 工程上可建立“数据重复率—验证损失”曲线作为数据配比决策的轻量工具，纳入预训练/持续预训练的数据准备 pipeline。
迈向Gricean后退：探测LLM的知识边界与指称特异性
🧭 LLM知识边界与生成特异性探测
University of Colorado, Boulder
LLM内部已编码知识边界与指称特异性信号，但生成时未协调，仍倾向编造具体细节而非退回通用陈述
📌 工作参考价值（4 点）
- 在商品文案生成、推荐理由或对话式电商中，对于长尾/新品等知识边界外的实体，可主动降低指称特异性：生成更通用的描述（如“某品牌运动鞋”而非具体型号），减少事实错误，提升可信度。
- 利用论文发现：模型激活中已包含知识边界和特异性信号，可训练轻量探针或使用激活引导（steering）在解码时调整logits，对低置信度实体自动触发“通用化”策略，无需重新训练大模型。
- 在RAG或知识增强场景中，当检索不到实体的具体信息时，可提示模型生成更笼统但真实的回复，并可将知识边界信号作为拒答或回退的触发条件。
- 该工作为幻觉控制提供了新思路：不是直接抑制幻觉，而是引导模型退回到安全的特异性层级，这比单纯惩罚更符合合作沟通原则，可尝试作为RLHF的额外奖励信号。
MARC v1：面向临床AI推理与协调的开源多智能体框架
🧭 多智能体协作推理与自动提示生成
College of Engineering, University of California, Davis · Perelman School of Medicine, University of Pennsylvania · School of Engineering and Applied Science, University of Pennsylvania · College of Computing and Informatics, Drexel University · UC Davis Graduate School of Management, Davis, CA
开源多智能体框架MARC，用确定性角色编排替代单体LLM提示，实现可追踪的临床推理与自动提示生成
📌 工作参考价值（4 点）
- 角色化多智能体流水线：将复杂推理任务拆解为提取、推理、生成、评估四个阶段，每个阶段独立Agent，便于错误定位和迭代。电商搜索/推荐中的query解析、意图理解、商品属性抽取、客服文案生成等长链路任务可直接套用这种确定性编排。
- Decomposer模块：用自然语言任务描述自动生成各Agent的prompt，大幅降低prompt工程成本，适合业务快速扩展新场景或调整流程。
- YAML配置+模型无关+本地CPU部署：架构上将流程与模型解耦，支持灵活切换底层LLM（API或本地模型），减少代码改动，便于算法团队快速实验和部署。
- 显式上下文传递与可追踪中间输出：多步骤生成任务（如推荐理由、广告创意）中，中间输出可审计、可归因，有利于线上效果分析和调试。
面向多语言多跳问答的延迟翻译与合成器折叠框架
🧭 多语言RAG · 问题分解与延迟翻译
School of Computer Science and Engineering, Northeastern University, Shenyang, China · Yunnan Key Laboratory of Artificial Intelligence, Kunming University of Science and Technology, Kunming, China
Syfer 通过延迟翻译和子问题图质量检查，在保持精度同时降低多语言 RAG 成本
📌 工作参考价值（4 点）
- 跨语言电商搜索/问答中，不必默认把 query 翻译成英文再召回；可先按原语言分解并做质量检查，通过则直接在目标语言检索与作答，失败才启用英文翻译路径，节省翻译成本和保留本地化语义。
- 复杂购物意图可拆成带约束的子问题图，在 Agent 执行前增加一道 decomposition-quality check，避免冗余子任务引入的错误累积。
- 多跳检索问答采用顺序 retrieve-then-answer，让子问题共享上下文，比先生成全部子问题再聚合结果更能抑制误差放大；这一点可迁移到多 Agent 协作的任务规划。
- 双语子问题图对齐只在翻译 fallback 时启用，作为低成本的跨语言一致性保障，适合需要兼顾效果与推理预算的生产环境。
面向PCVR预测的结构化分词与目标感知兴趣表征STAR
🧭 工业推荐排序 · 序列-特征统一建模 ★ 深度解读
Tsinghua University · Peking University
STAR通过结构化特征分词、DIN式目标感知序列解码与加权InfoNCE对比目标，在PCVR排序上稳定提升AUC
📌 工作参考价值（5 点）
- 高基数稀疏特征别直接丢弃：频率 remap + 共享 unknown bucket + 序列哈希分支，让长尾 ID 重新进入模型；同时保留高频 ID 专属 embedding，可迁移到电商 user/item 长尾特征。
- 对行为序列做 target-aware decoding 而非全局 pooling：DIN 式 query 用 candidate item 与序列 token 的差/点积计算注意力，能更准提取与当前广告/商品相关的兴趣；公式（4-6）可落地。
- 训练加 InfoNCE 对比辅助目标，对 user-item 表示做 in-batch 对齐，提升排序 AUC 而非 LogLoss；适合推荐排序场景，注意温度与权重衰减。
- 稀疏特征中的零值需区分真实零与 padding/missing：加 non-zero mask、整数 ID 偏移，避免特征混淆；工程上要重建映射表保证 train/infer 一致性。
- 缩放容量优先加 hidden width 与 HyFormer block depth，而非 embedding 维度或稀疏参数量；embedding 扩增增益不单调且有成本。
MLLM路由异构集成用于鲁棒跨数据集图像分类
🧭 多模态LLM路由异构视觉模型
University of Tennessee, Knoxville · The Bredesen Center for Interdisciplinary Research and Graduate Education
用多模态大语言模型agent动态路由每张图像到最合适的视觉骨干，实现跨域集成分类
📌 工作参考价值（4 点）
- LLM/MLLM 作为轻量级路由决策层：无需训练专门的路由模型，直接使用通用多模态大模型根据样本特征（如图像、文本描述）动态选择下游专家模型。可迁移到电商推荐中的多路召回/排序集成，比如按商品类目、用户意图或内容复杂度路由到不同精排模型。
- 异构模型集成 + 统一 label space：不同架构（CNN、SSL、VLM）共享统一标签空间，各自发挥优势。推荐系统中可以将协同过滤、Transformer、多模态模型统一在相同的候选集空间下，由 LLM 路由选择，降低集成维护成本。
- 通过 prompt 快速增加新知识：路由器只需修改 prompt 就能纳入新领域信息，无需重新训练。适合电商业务中频繁扩展新类目、新活动场景，能大幅缩短模型更新周期。
- 自然语言推理 trace 增强可解释性：路由决策附带 reasoning trace，便于线上 badcase 诊断和策略审计。对推荐系统中的模型选路、兜底策略可解释性有直接借鉴价值。
QuoteBench：匹配分数如何掩盖命令路径失败
🧭 LLM Agent 命令执行评估
Stony Brook University · LMU Munich · Munich Center for Machine Learning
通过控制执行传输中的解析器，揭示匹配执行分数掩盖的 Bash 引用失败与边界适应差异
📌 工作参考价值（4 点）
- 在构建 command-issuing agent（如自动数据管道、文件处理、脚本调用）时，不要只看最终执行是否匹配，应显式记录生成契约、执行路径和 final-state validator，区分生成错误与执行层转义错误。
- 通过 prompt 或系统提示向模型披露执行传输边界（如是否经过 shell 转义层），通常能显著恢复成功率，但需在具体配置下验证，部分场景披露无效甚至负向。
- 工程实现上，建议在命令插值点统一转义，避免 raw model output 直接进入 shell 解析；同时用 exact final-state 校验替代简单字符串匹配。
- 评估多家 LLM 或选型 agent 时，应固定同一回复在不同执行传输配置下 replayed，避免 matched score 掩盖真实差距，尤其关注边界适应能力而非单纯生成质量。
RAGSieve：检索增强生成中知识投毒的自引用局部对比检测
🧭 RAG安全 · 自引用局部对比检测
Nanjing University of Information Science and Technology · Meituan
提出自引用局部对比检测框架，在查询时和语料入库时无需投毒标签识别RAG投毒文档
📌 工作参考价值（4 点）
- 在RAG检索后、生成前增加轻量检测层：对同一次检索的 top-5 与 rank 6-20 候选做分布对比（如相似度集中度、排名跃迁），发现异常文档直接过滤，不需要全局阈值，适合多品类电商检索结果分布差异大的场景。
- 语料入库阶段构建文档局部邻域图，检测与语义相似但词法不同邻居的密度异常，可提前拦截协同注入的商品描述、评论或UGC内容，降低在线风险。
- 方法无需投毒标注或可信参考语料，适合业务冷启动或无标注数据时快速上线防御。
- 联合部署查询时和入库时检测，攻击成功率从67.4%降至14.0%，且对干净检索F1影响有限，可作为RAG安全模块直接嵌入现有pipeline。
任务向量何时足够？隐式多模态上下文学习的实证理论
🧭 多模态 ICL 任务向量选择机制
Brown University
提出 Selection-Realization 假设，揭示静态任务向量在跨查询共享变化为主时足够，否则需更复杂干预
📌 工作参考价值（4 点）
- 在电商搜索/推荐中用 LLM 做少样本任务（如属性抽取、意图分类）时，先对比正确演示与反事实的激活结构：若演示诱导的变化跨查询高度共享，用静态 task vector 压缩演示可大幅降低多模态 token 重复编码成本，适合高并发在线推理。
- 借鉴 Selection-Realization 假设做成本感知的方法选择：离线分析显式 ICL 的隐藏状态变化，判断任务是否可被局部加性偏移近似，无需上线测试即可决定用静态向量还是升级到 query-conditioned 或 attention routing。
- 对多模态商品理解任务，静态 task vector 可能只覆盖通用映射，遇到细粒度查询（如颜色/材质条件）时性能下降；可考虑按 query 子集聚类维护多个 task vector，或增加轻量 query 调制模块来捕获查询特定结构。
- 工程实现上，若任务相对稳定且演示较长，优先尝试将演示压缩为单次前向的激活偏移作为缓存，避免每次推理重复编码多模态演示，减少延迟和 KV cache 占用。
日本超长视频叙事演进与文化细微理解基准 NARU
🧭 多模态 LLM 长视频叙事与文化评估
The University of Tokyo · Kyushu University · Macau University of Science and Technology
含 1,481 个问题，覆盖 155 个视频 146.8 小时，评估长视频叙事与文化理解，揭示 MLLM 明显不足
📌 工作参考价值（4 点）
- 借鉴层级记忆式标注管线：将原始日志（如用户多轮会话、观看序列）按“事件-叙事-文化”多粒度结构化，再生成评测或训练样本，有助于明确模型需要在哪一层推理。
- 借鉴迭代式 shortcut removal：构建内部评测集时，反复剔除仅靠表面统计或常见捷径就能回答的问题，确保考察真实深层理解，可用于生成式推荐的解释质量、对话式推荐题目的校验。
- 对非英语/高语境内容单独设立评估维度：跨境电商或出海推荐中，模型需理解本地文化细微差别，可按文化维度构建测试集，避免英语中心偏差影响线上效果。
- 长程依赖建模短板提示：在长 session 或长期用户兴趣建模中，考虑引入层级记忆/摘要机制，而不是单纯堆叠长上下文。
RippleMem：从孤立检索到联想式回忆的长期 Agent 记忆系统
🧭 长期 Agent 记忆 · 联想式证据补全 ★ 深度解读
Communication University of China · Zhilian Yinghe Technology Co., Ltd. · State Key Laboratory of Media Convergence and Communication
把已召回记忆作为 cue，沿事件图局部扩展补全缺失证据，长期记忆 QA 精度显著提升
📌 工作参考价值（4 点）
- 在客服/导购 Agent 中，用户偏好、约束常分散在多轮多 session：一次检索容易只召回直接相关记忆，却漏掉安全约束（如海鲜过敏）。可借鉴「召回后把已召回记忆当 cue，用 LLM 判断缺失证据目标，再沿语义/结构化边局部扩展」的读阶段，避免无向图全局游走。
- 写入阶段把对话压缩为 cue-rich episodic units，结构化保存参与者/地点/时间，并建稀疏图：语义边 + 结构化边（Jaccard/时间衰减）。电商场景可把用户、商品、场景实体存为 cue，便于跨 session 关联，且比维护完整 KG 便宜约 30 倍。
- 工程实现上，建图采用增量式候选池（语义近邻 + 结构化倒排），每节点最多 K 条边，避免 O(N²)；证据装配用固定权重排序 + 固定 evidence budget，上下文 token 可控。query-time 控制器额外引入 LLM 延迟，可异步或缓存。
- 复用结论：关联/图检索只有在「evidence-conditioned」补全（有明确缺失支撑目标）时才有效，单纯加图或递归检索容易召回相关但不支持答案的记忆；业务里可用 missing-support target 约束扩展方向。
SAEVerbalizer：通过表征言语化生成稀疏自编码器特征解释
🧭 LLM 可解释性 · 表征言语化
Tsinghua University · Peking University · Fudan University
注入 SAE 解码方向并微调下游层，将 SAE 特征直接言语化为自然语言解释，摆脱外部行为观察
📌 工作参考价值（4 点）
- 可将 SAE 特征言语化范式迁移到推荐/搜索的内部表征：对用户或商品 embedding 的稀疏特征生成自然语言解释，帮助理解模型捕获的隐式偏好（如价格敏感、品牌忠诚），用于特征 Debug 和可解释推荐。
- 训练一个 verbalizer 后即可直接解释 decoder 方向，无需为每个特征收集行为证据，显著降低大规模特征解释的工程成本；在电商场景可批量解释召回/排序模型中的稀疏特征，加速模型审计。
- 多方向注入产生组合语义、反转方向产生相反语义，可用于可控文本生成：例如在广告文案或推荐理由生成中，通过注入/反转特定语义方向实现属性编辑（如风格、情感、卖点控制）。
- 跨模型迁移只需轻量 adapter，不重新训练完整解释器，适合业务中多 LLM 版本快速适配；在生成式推荐或 Agent 决策解释模块中可复用该迁移策略。
SCULPT：3D 部件生成的减法组合框架
🧭 3D 生成 · 部件分解与组合
Shanghai Jiao Tong University · Huawei
提出 SCULPT，在结构化 3D 隐空间内通过联合分割预测器迭代提取部件，实现部件级生成与整体重建的协同优化
📌 工作参考价值（4 点）
- 借鉴“联合预测 + 耦合去噪”思路：在商品属性/标题/描述等多粒度生成任务中，避免先整体后拆分或先部件后拼接，而是让部分与整体在生成过程中互相条件化，减少不一致。
- 借鉴“稀疏支持重叠而非强制划分”：在结构化表示（如商品品类树、标签体系）中，允许节点/标签表示存在重叠，避免硬聚类带来的边界噪声；类似 RAG 中的 chunk 也可以重叠。
- 借鉴“迭代减法 + 自适应停止条件”：在生成多模块内容（如 banner 多区块文案、推荐理由多段生成）时，从完整草稿开始逐步剥离生成子模块，并设置安全上限，让模块数量自适应输入。
- 注意：本文是 3D 生成领域，业务直接迁移有限，主要价值在于生成式框架的设计思想。
时间序列基础模型中的预测坍缩现象与校准-排序权衡
🧭 时序基础模型 · 校准-排序权衡
Abel AI Lab · Arizona State University · University of Oxford
发现时序基础模型预测坍缩现象，提出 CalibRank 平衡校准与排序，横截面相关性近三倍提升。
📌 工作参考价值（4 点）
- 排序目标与校准目标未必一致：若业务指标是物品排序质量（如信息流/广告 CTR 排序），只优化 pointwise MSE/Logloss 可能导致预测趋于均值、区分度不足。可尝试在损失中加入 batch-level 排序项（如 pairwise/listwise loss 或相关性正则），类似 CalibRank。
- 评估需补横截面/排序视角：逐样本 AUC/准确率可能掩盖排序结构失灵，增加 IC、Spearman 或 NDCG 等指标监控，尤其对于低信号目标（点击、转化）。
- 低可预测性 + 校准约束会使预测振幅过小：若线上排序模型打分过于集中，可放松校准约束或对 logits 做温度缩放/振幅重标定，但需监控校准误差。
- 多实体共享模型（用户/商品）时，逐实体损失不识别全局序；可尝试在训练中构造 batch 内样本对或跨实体排序损失。
视觉语言模型在视觉缺失或被误导时的行为评估：科学图表基准
🧭 VLM 不确定性行为评估与基准
University of Aberdeen, UK · International Institute of Information Technology Hyderabad, India · University of Technology Nuremberg, Germany · University of Southern California, USA
提出 SciFigBench 与 A-R-I 框架，系统评估 VLM 在科学图表上的不确定性行为，揭示高精度不等于高可靠性
📌 工作参考价值（3 点）
- A-R-I 框架可改造成多模态商品理解质检：当商品图模糊、文字遮挡时，模型是否应承认“看不清”而不是编造卖点；可设置 blur/裁剪变换 + 强制确认 unreadable 区域，评估模型在低质量图片上的拒答率。
- resistance probes / caption-bias probes 可借鉴为“图-文不一致”检测：商品主图与标题/卖点描述冲突时，模型是否会被营销文案带偏？可构造对抗样本测试多模态推荐/审核模型的抗误导能力。
- 将“高感知精度≠行为可靠”的结论用于模型选型：在商品图 OCR、广告素材审核等场景，除了 accuracy，还要看 hallucination rate 和 uncertainty admission，类似 Gemini 3.1 Pro 在阻力分数上表现更强，可能更适合需要安全拒绝的业务。