指路藏终点：大规模实用私有密集检索
🧭 隐私保护向量检索 · 深度哈希短列表
The Chinese University of Hong Kong, Shenzhen · State Key Laboratory of Internet Architecture, Tsinghua University · Beijing University of Posts and Telecommunications · The Chinese University of Hong Kong · Institute of Software, Chinese Academy of Sciences
用可学习深度哈希生成短候选列表，结合加密重排与不经意传输，在保持检索质量的同时将全库密码学搜索成本降至可部署水平
📌 工作参考价值（4 点）
- 在需要隐私保护的 RAG 或私有知识库检索中，可将「可学习深度哈希 shortlist」作为预筛层：只对哈希命中的 200-500 个候选做加密重排，避免全库同态计算，检索质量接近全库向量检索。
- 将连续 embedding 映射为二元哈希码后，不再直接暴露原始向量，配合 directional metric DP 可显著降低 embedding inversion / property inference 泄露；对电商用户行为、广告素材、商品描述等敏感语料检索有直接参考价值。
- 工程上可采用两阶段漏斗：哈希粗筛得到短列表，再用 oblivious key transfer 和加密 reranking 保护具体 query 与最终 item 选择；这比单纯用聚类或 LSH 粗扫更贴合私有检索的隐私与质量平衡。
- 在 10Gbps 网络、数百万文档规模下，该协议额外延迟约 0.73s，适合在线 RAG 服务；但需要额外训练/微调深度哈希模型，并接受候选短列表带来的召回上限。
保持索引开放：共享搜索与推荐系统的推荐侧成本
🧭 双塔检索 · 冷启动与统一索引 ★ 深度解读
Amazon Web Services
量化双塔架构在统一搜索推荐索引中的推荐侧损失与冷启动收益，揭示训练目标的质量-规模权衡
📌 工作参考价值（5 点）
- 双塔架构同时服务搜索和推荐，新物品通过特征编码零样本打分，无需重训即可加入索引，适合电商新品冷启动；ID-softmax 模型需要重训才能覆盖新物品，工程上不可接受。
- 训练目标选择至关重要：full-softmax cross-entropy 比 sampled InfoNCE 在小目录上显著提升召回（MIND-small +54%，ML-1M +6.9%），但显存随目录线性增长，10万级目录即 OOM。实践中可按目录规模选择：<1万用 exact full-softmax，更大规模用采样负样本并做修正。
- 冷启动评估应使用严格 zero-leakage item holdout 协议，避免信息泄漏；特征塔 + 冷冻 CF 融合（简单标量加权）即可同时获得冷启动和暖启动双优，无需额外训练。
- 检查数据 pipeline 中的时间戳精度：float32 量化可能静默改变 LOO 目标，建议用整数时间戳并加 build gate 校验，否则跨模型比较不公平。
- 百万级以下目录，exact full-catalog scan 延迟已足够低（<30ms），ANN 近似索引没有收益且损失召回；超过百万再考虑 IVF-PQ/HNSW，但要关注索引召回对最终指标的影响。
CaSKG：面向可扩展 Agent 技能检索的反事实因果技能图
🧭 Agent 技能图构建与图谱化检索 ★ 深度解读
Jilin University · Ant Group
用反事实因果探针校准技能图边置信度，在六模型两基准上全面超越 GoS 等检索基线
📌 工作参考价值（4 点）
- 技能/工具库检索可拆成“高召回候选图 + 预算化边校准 + 状态门控发布”：先在离线阶段用多信号（语义、词法、I/O、结构）挖出候选边，再用有限 LLM 预算只验证高价值边，线上只做轻量图传播；电商 Agent 工具库、SOP 流程库可以直接复用。
- 用 LLM 反事实探针评估方向性依赖：对候选边做 remove/substitute/reorder 三类文本探针，能比相似度/共现更可靠地区分“前置依赖”和“只是相关”，适合做工具/API 前置条件、状态变更、校验步骤的边质量评估。
- 发布图时采用 confirmed/uncertain/rejected/scaffold 四态权重，而不是全量发布所有候选关系；可避免弱边在图传播中污染上下文，推荐/搜索知识图谱的边精选也可借鉴。
- 在线检索用 query seed + personalized PageRank 在可靠性加权图上扩展，返回紧凑技能包；相比全文库塞入和纯向量检索，既省 context 又能补回非字面相关但流程必需的技能，适合 LLM prompt 组装。
层级LLM智能体中的贝叶斯自我升级：知道何时求助
🧭 层级LLM智能体自我升级决策 ★ 深度解读
Independent Researcher
把生成中途的模型求助建模为基于能力后验的最优停止问题，证明阈值策略并给出校准驱动的后悔界
📌 工作参考价值（4 点）
- 在电商/Agent 级联路由中，不只做 pre-router 或 post-verifier：引入 per-token 或 per-step 的“能力后验”B_t，在生成中途触发升级，能省下注定失败的 junior 生成成本。真实代码级联里，streaming 升级到 75% 准确率只用 0.98× junior 成本，而 post-hoc 路由要 1.41×。
- 原始 entropy / margin / probe 只能当 evidence，不要直接当概率用；用标注轨迹学 competence posterior，训练目标优化 Brier score 而不是只看 ECE。ECE 低不代表安全，Brier score 同时惩罚 calibration 和 refinement。
- 把 competence posterior 与决策阈值解耦：成本、延迟预算、senior 模型变化时，只重跑 offline backward induction 更新阈值表，不用重新训练。适合业务频繁调价、换大模型或调整延迟 SLO。
- 跨模型交接只传文本 trace、工具调用历史、检索证据，不传 hidden state / KV cache，保持模型无关；这可以复用到小模型 agent 负责长尾 query、复杂任务再升级大模型的架构。
CodeHID：学习可寻址层次代码索引的生成式代码检索
🧭 生成式检索 · 层级语义 ID ★ 深度解读
Xiamen University
将代码检索重构为层级语义 DocID 生成，以 kNN 伪标签学习前缀语义结构，并在训练与推理侧联合引导路径选择。
📌 工作参考价值（4 点）
- 构建商品/内容语义 ID 时，不要只用 RQ-VAE 自重构；叠加 kNN 伪标签约束前缀共享，让相似 item 在浅层共享前缀、深层保留区分度，可形成类目/风格/价格带的多粒度索引。
- 生成式推荐/召回训练时，除标准 next-token DocID loss 外，挖掘 query-item 相似度 TopK 的 hard negative DocID，加 pairwise margin loss 和 teacher-student rank distillation，能明显提升 Top1 命中；工业界可复用双塔打分作为 teacher。
- 推理时先粗召回 TopB 候选 item 构建合法前缀 trie，再做约束 beam search，并用 query-item 相关性作为 prefix-level lexical bonus 微调 beam 打分，比全空间解码更稳定、低延迟。
- 采用 frozen encoder + LoRA decoder 架构，DocID 离线固定，线上只更新 query 到 DocID 的生成路径，适合快速迭代生成式召回模型。
电商场景点击率预测的原生多模态表示学习
🧭 多模态表示与 CTR 预测对齐 ★ 深度解读
Taobao & Tmall Group of Alibaba · University of Science and Technology of China
提出 Mine-Then-Train：从 CTR 数据挖掘可解释三元组微调多模态编码器，在线 CTR 提升 1.5%
📌 工作参考价值（4 点）
- 不要盲目对强预训练多模态编码器与 ID CTR 模型做端到端联合训练：梯度不一致且成本高；先在数据层过滤噪声、挖掘干净监督更有效。
- 用 annotation model 捕捉 CTR 增量信号：SID Decode Codebook 零初始化 + 残差结构，能保留预训练语义不退化，同时学习点击偏好。
- 三元组筛选可复用：SCL 相似度差距小但 annotation score margin 大的样本，对应语义相似但用户偏好排序不同的 hard cases，适合微调 encoder。
- 多模态表示集成到 CTR 模型有两条路径：similarity-based（SimTier/SA-TA）和 direct fusion；NMRL 改进可即插即用，无需改动其他模块。
多语言LLM技能一致性：自博弈评估
🧭 多语言LLM技能一致性评估
A*STAR · Weizmann Institute of Science · MIT-IBM Watson AI Lab · University of Cambridge · EleutherAI
通过多语言自博弈文本游戏，量化同一LLM在不同语言接口下的技能差异
📌 工作参考价值（4 点）
- 多语言搜索/推荐中，模型技能会在语言接口变化时退化；上线前应做跨语言自博弈或类似对抗评测，而不只看知识基准分。
- 如果业务需要多语言 Agent 决策，可固定中间推理语言（如统一用英文 CoT）并在输入层做语言映射，可能恢复部分性能；论文表明改变内部推理语言可提升决策质量。
- 自博弈离线评测成本低、控制变量好，适合持续回归跨境/多语言版本的策略模型；可复用 TextArena 思路构建电商谈判、广告竞价等最小决策游戏。
- 注意语言特有失败模式（空间推理、条件决策、最优 move 选择），对推荐解释或多语言文案生成可针对性加入语言校准和校验。
EviGraph：面向信息搜索智能体的可验证证据构建
🧭 Agent 搜索证据图与过程奖励 RL ★ 深度解读
WeChat, Tencent Inc., Beijing, China
将智能体网络搜索重构为可验证证据图构建，以共享策略分离搜索与证据记录，用稠密过程奖励直接监督证据基础
📌 工作参考价值（4 点）
- 对电商导购/搜索 Agent：把「检索到的商品或卖点」与「用户查询约束」显式建图，每个卖点必须锚定来源 span 并标记 support/conflict；可避免用相关但时间、地区、数值错误的页面回答，适合商品事实校验、选品问答、推荐理由生成。
- 采用「冻结 verifier + 确定性 structural validator + 可学习 policy」的分离架构：把不可靠的语义判断和结构化校验分开，policy 只提图编辑请求，错误可局部归因；工程上可用规则引擎做图校验，降低对单一 LLM 的依赖和幻觉。
- 过程奖励设计可迁移：coverage 用 potential-based shaping，配合 canonical signature 去重、per-triple bonus cap、KL penalty，能抑制 reward hacking 和重复记录；可用于训练搜索/推荐 Agent 的中间 grounding。
- 多约束查询可拆成 candidate–constraint claim，每个 tag 独立追踪 MISSING/SUPPORT/CONFLICT，适合电商商品属性（产地、年份、价格、代言人）验证和 push 文案事实核查，让 Agent 明确知道还缺哪些约束。
基础模型无监督后训练综述
🧭 无监督后训练 · LLM
HKUST(GZ) · HKUST · Xiaohongshu Inc. · WeChat, Tencent · CUHK
系统梳理80种无监督后训练方法，按内部信号来源分类并提出Input Visibility×Update Persistence统一框架
📌 工作参考价值（4 点）
- 可借鉴无监督后训练思路，利用电商/广告场景中大量无标签的 query、商品描述、用户行为文本对 LLM 做领域适配，减少人工标注成本。
- 四类内部信号（预测统计、样本关系、自生成目标、内部评估器）中，自生成目标（伪标签、rationale、curricula）在业务语料上最易落地：用当前模型对弱标注数据生成伪标签再做自训练，注意配合置信度过滤。
- 内部评估器（self-reward）用于排序/推荐模型微调时需警惕误差递归放大，建议与在线 A/B 指标绑定，避免仅依赖模型自评。
- Input Visibility×Update Persistence 框架可帮助决定部署形态：对时延敏感的在线推荐模块采用离线更新+冻结参数，对离线生成模块可做在线持续无监督更新。
检索-匹配-升级：VLM蒸馏交叉编码器与Agentic VLM商品链接
🧭 商品实体解析 · 检索-匹配级联 ★ 深度解读
DoorDash Inc.
用VLM共识标签蒸馏轻量交叉编码器，并把困难尾部升级给自托管Agentic VLM，实现按难度路由的商品链接
📌 工作参考价值（4 点）
- 难度路由级联：用 cheap text-only cross-encoder 产出 calibrated score，设 HIGH/LOW 双阈值，只把 MEDIUM 升级给昂贵 VLM；成本差可达 4 个数量级，端到端覆盖从 68.1% 提升到 77.1%。
- 标签飞轮：dual-VLM consensus 自动生成训练标签（保留 87% 一致、丢弃 13% 不一致），5.3M 标签替代 40k 人工标注，放大 130×；业务上可先让闭源 VLM 产生伪标签，再用 ops 审计校准。
- 特征工程与修复：原始 barcode digits 直接进 cross-encoder 比 [BARCODE_MATCH] 标志更好（+0.8pp F1），但需防 rare collision：用 barcode dropout + name-similarity guardrail + 合成同 barcode 冲突 name 对，再以 guardrailed teacher 蒸馏学生，把 stress audit R@P98 从 0.200 拉到 0.768。
- Agent 部署与评测：自托管 open-weight MoE VLM 替代 closed frontier，同精度成本 1/7，recall 仅 -4pp；通过 MCP 解耦 search backend、限制 tool loop ≤4 轮、加同零售商证据/空搜索 inconclusive addenda 稳定行为；同时主动构造对抗性子分布，补足 held-out 看不到的稀有失败。
JIT-Agent：以即时 Harness 演化扩展智能体框架智能
🧭 Agent harness 即时生成与演化 ★ 深度解读
LV-NUS Lab
训练 27B 元模型按任务即时生成/修复/演化 agent harness，使普通骨干模型超越更强基线与固定运行时
📌 工作参考价值（4 点）
- 把推荐/搜索 Agent 的执行框架拆成可生成模块：将 memory、planning、action、capability orchestration 四个模块协议化，用一个轻量 meta 模型按任务动态生成 harness，比固定 pipeline 更适配电商场景中深度研究、购物规划、多工具协同等异构任务。
- 三阶段训练闭环可直接复用：先用专家生成合法 harness 做 SFT+偏好对齐，再用失败修复轨迹教模型快速修 bug，最后用 Evo-GDPO 以历史最优为基线做在线偏好优化，保证 reward 提升同时不牺牲 latency/cost。
- 用“reward 提升且效率不退化”硬约束筛选候选：偏好函数同时考虑 reward、latency、cost，避免靠堆 token 换分数；实验显示 JIT harness 在性能提升的同时 token 成本平均降 36%，适合成本敏感的电商/广告 Agent 系统。
- 引入 streaming archive 实现无参数持续进化：线上任务执行后，只有突破 frontier 的 harness 才写入银行，后续任务检索相关历史 harness 作为参考。这种轻量记忆库可迁移为搜索推荐 Agent 的跨任务经验积累。
可靠偏好学习：错误增强的情感偏好优化与校准融合
🧭 多模态情感偏好优化与裁判校准
The Hong Kong Polytechnic University · Brno University of Technology · Tsinghua University · National Taiwan University · Kyoto University
通过错误增强负样本与多裁判边缘校准融合，提升多模态情感偏好判断的鲁棒性
📌 工作参考价值（4 点）
- 负样本构造策略可迁移：在训练推荐/广告文案生成或排序模型时，不只是随机采样负样本，而是从正样本出发生成多类受控负样本（如语义流畅但违背用户真实意图的商品描述、评论），显著提升模型对困难负样本的区分度。
- 多裁判融合的校准思路：当用多个 LLM 作为标注器/打分器（如商品质量评估、广告文案评分）时，不同模型输出打分分布差异大，先做 margin calibration（映射到统一尺度）再融合，比直接平均更稳定，可减少单一模型偏差。
- 偏好优化数据增强：用错误增强方式扩充偏好对，能缓解稀疏监督问题，在电商 UGC 情感分析、客服对话语气判断等场景可以低成本生成更多高质量训练对。
- 工程上可复用 soft fusion 思想：对于多个异构模型的预测结果，不采用 hard voting 或简单平均，而是保留偏好 margin 并做校准后加权，适合集成多个微调裁判模型，提升线上评估一致性。
PhysElite：LLM 距解决奥赛物理题有多远
🧭 多模态 LLM 物理推理基准与过程评估
Xi'an Jiaotong-Liverpool University
构建大规模双语多模态物理奥赛基准 PhysElite，含 11586 题；最强多模态模型答案准确率仅 33.7%，并提供步骤级过程评估。
📌 工作参考价值（4 点）
- 步骤级过程评估可迁移到电商推荐 Agent 的诊断：在 query 改写→召回→排序→解释等多步推理链中，对中间步骤单独打分，定位失败子环节，而不是只看最终推荐命中率。
- 构建垂类专家级评测集的思路可借鉴：覆盖知识点、视觉形式和解题过程，用于电商商品知识问答、促销规则计算等多模态场景，衡量 LLM 的业务推理能力。
- 复杂物理题中 MLLM 准确率仅 33.7%，提示业务中的数值计算、多步推理不能完全依赖 LLM，应结合计算器、规则引擎等外部工具，如价格、库存、优惠叠加逻辑。
- 双语对齐和分步解答标注可用于微调生成式推荐理由、购物决策解释，让模型输出可核验的推理过程。
RecGPT-Mobile-V2 技术报告：端侧个性化 Query 预测的质效联合优化
🧭 个性化 Query 预测 · 端侧 LLM 自适应推理 ★ 深度解读
Alibaba
面向端侧个性化 Query 预测，提出质量门控自适应推理与压缩部署的端到端框架。
📌 工作参考价值（4 点）
- 行为轨迹压缩可先做确定性工程再上模型：按“搜索/购买>加购/收藏>点击/内容种子>曝光/页面噪声”分层，去爆、去重、语义富化、分段序列化，将 ~300 原始事件压到 100-300 token 的 LLM 可读上下文；电商推荐/搜索场景下，这是低成本、可审计的输入治理方式。
- 训练顺序建议 PT→SFT→RL：先用 domain CPT 注入层级 Semantic ID、共现/互补/替代关系和购后转移，再通过 SFT 固定输出契约（单 Query、独立 rationale 区域、禁止解释和候选列表），最后才做 RL；业务迁移时先确保基座懂领域和输出格式合法。
- RL 奖励设计不要用全局长度惩罚，而是质量门控：分组 rollout 中仅对质量合格且长度可比的轨迹计算输入分位数预算，采用 one-sided 超额成本 + 乘法折扣 Q*exp(-λC)，并保留 rank protection；这能避免模型刷短 query 或牺牲 grounding。
- 端侧部署可分离 teacher 显式 CoT 与 student 隐式 latent 推理：teacher 保留完整 rationale 用于监督/审计，student 只输出最终 Query；结合 INT8/INT4 量化、结构化剪枝、蒸馏和端云路由，适合移动端低延迟场景。
任务解耦 LoRA：统一框架下的多功能音视频多模态学习
🧭 多模态多任务学习 · 任务解耦 LoRA
用任务解耦 LoRA 在统一 LLM 框架中整合通用知识、任务特定模式与跨任务协作，缓解多任务干扰。
📌 工作参考价值（4 点）
- 在多目标/多场景推荐与搜索统一模型中，可借鉴“通用 LoRA 底座 + 任务调制矩阵”的架构：共享低秩空间保留通用表征，任务特定矩阵做轻量解耦，比完全共享或独立微调更抗干扰，也便于快速接入新任务。
- 跨任务协作专家通过可学习门控显式建模任务间相关性，适合电商 CTR、CVR、GMV 等多目标联合优化，减少负迁移；可优先对相关性强的任务组开启协作路径。
- 以 LLM/LoRA 参数高效适配多模态输入，适合商品图、文案、短视频素材统一编码；按任务插入不同调制层即可扩展类目识别、属性抽取、卖点生成等，不必为每个任务完整微调大模型。
- 若业务要建设多模态统一理解底座，可参考“模型侧与任务侧双重显式协作”思路，避免 naive joint training 带来的互相干扰。