CreativeInstruct：可扩展地教大语言模型平衡质量、创意与多样性
🧭 可控创意指令微调 · 特殊令牌注入
Columbia · UNC Chapel Hill · University of Texas at Austin
通过在指令微调中引入 [StartCreativity] 令牌，使 LLM 在保持后训练质量的同时恢复基模型的创意多样性
📌 工作参考价值（4 点）
- 在电商推荐文案、对话式推荐等需要创意和多样性的场景，可通过插入类似 [StartCreativity] 的特殊 token 控制生成风格，在不牺牲质量的前提下提升多样性。
- 图编辑距离的结构多样性指标可以用于评估推荐理由、产品描述或 push 消息的叙事结构多样性，弥补纯词汇或语义指标的不足。
- 在 RL 训练前先用 CreativeInstruct 增强基模型的创造性，能显著提升后续 RL 的效果，这对用 RL 优化推荐策略或对话 Agent 的探索能力有直接借鉴。
- 单一模型即可平衡质量与创意，避免部署多个模型或蒸馏带来的推理开销，适合线上低延迟生成任务。
代理式混合自顶向下与自底向上的知识图谱生成方法
🧭 Agent 知识图谱构建
Malt, Paris, France
提出结合 LLM 与 Wikidata 的代理式混合管道，实现多语言技能概念的自适应对齐与涌现
📌 工作参考价值（4 点）
- 混合外部知识库（Wikidata）与 LLM 的思路可直接迁移到电商商品属性图谱构建：已有 SPU/属性对应 Wikidata 或 Freebase 实体进行锚定，LLM 负责发现并结构化新属性或长尾品类。
- 代理反思（agentic reflexion）模式用于未匹配概念的迭代恢复，可解决商品描述中不断出现的新词、新属性（如“可折叠”“氮化镓”）无法对齐的问题，工程上可设计类似的检查-再生成-去重闭环。
- 多语言规范化及去重阶段对跨境电商标品属性对齐（如颜色、尺寸）有直接借鉴：先用 LLM 多语言标准化，再基于语义相似度去重，减少人工 mapping 成本。
- 自愈（self-healing）框架与主动策展（active curation）思想可用于实时商品库的质量监控：自动检测失效或低置信度映射并重新调和，保障下游搜索推荐的特征质量。
DocMemo：面向多模态长文档理解的概率记忆引导动态证据检索
🧭 多模态文档理解 · 动态证据检索与记忆
Harbin Institute of Technology, Shenzhen · Tsinghua Shenzhen International Graduate School, Tsinghua University
提出三层记忆状态与贝叶斯页信念更新机制，将长文档推理建模为动态证据探索过程
📌 工作参考价值（4 点）
- Agent 记忆机制设计：三层记忆（结构模式记忆、页信念记忆、问题情景记忆）可借鉴用于多轮对话推荐系统中，管理用户状态、商品上下文与推理轨迹，解决长对话场景下兴趣漂移与证据跟踪问题。
- 不确定性驱动的探索：汤普森采样与贝叶斯页信念更新提供了一种平衡探索与利用的范式，可迁移至推荐系统的冷启动或动态兴趣建模，例如在新商品或新用户场景下自适应调整曝光策略。
- 结构感知的自适应粒度检索：根据文档结构（目录、节标题）动态选择检索粒度（整页、段落、视觉区域），对应电商场景中商品详情页的结构化信息（标题、图文、参数表）的分层次检索，提升证据定位效率。
- 空间邻近传播：利用相邻页面的相关性平滑信念，可启发推荐系统中基于会话内邻近商品或协同过滤的置信传播，增强对强相关 item 的召回。
GeoBenchLLM：面向地理相关任务的大模型综合评测基准
🧭 地理空间推理 · 评测基准
University of Toulouse
构建覆盖12类地理时空任务的多维度LLM评测基准，揭示推理与模型规模对地理理解的关键影响
📌 工作参考价值（4 点）
- 地理位置相关搜索/推荐系统可借鉴该基准中的空间关系推理、路径规划等任务，评测模型对用户时空意图理解的能力
- 评测框架中多任务、多数据集的构造方式可用于构建电商场景下的位置感知 Agent 或推荐模型评测集，避免单一任务过拟合
- 发现推理能力对地理任务性能的提升显著，提示在搭建位置敏感型 LLM 应用时，应优先选用具备强推理能力的模型（如思维链增强）而非单纯增大参数规模
- 数据集覆盖事实问答、路径规划等实用任务，可直接用于微调模型以提升对地址、POI、区域范围等实体的语义与空间关系建模，改善本地生活服务推荐质量
教师保留完整Token，学生高效合并：面向广告推荐的电商序列建模TM20K
🧭 超长序列建模 · 知识蒸馏 · Token合并 ★ 深度解读
ByteDance
通过全注意力和两阶段蒸馏，用三种Token合并将电商序列扩展到20K，在线广告收入提升1.036%，延迟仅增5.6%
📌 工作参考价值（4 点）
- Token合并三策略可直接复用：相同商品ID局部合并（LITM）可聚合短时间窗口重复行为，去噪并减少序列长度；位置自适应合并（PATM）对近期行为保留完整，对远期行为激进压缩，符合兴趣衰减现实；层间金字塔合并（LPTM）让底层用长序列提取细粒度，上层用短序列做高层抽象，这种分层压缩在Transformer中容易实现。
- 两阶段蒸馏框架适合工业超长序列落地：让昂贵的教师模型只训练一次，不参与在线推理，将计算开销剥离；学生模型用廉价Token合并压缩序列，通过蒸馏恢复大部分精度，突破了长序列的效率瓶颈。
- 全注意力优于目标注意力：实验证明在20K电商序列上全注意力AUC比目标注意力高约0.25%，且GPU利用率更高，说明序列内交互对预测很重要，不应只用目标-序列注意力。
- 工程实现技巧：LITM和PATM在CPU上合并原始特征而非嵌入，避免GPU-CPU带宽瓶颈；QK Norm可稳定超长序列训练；Stack Sequence重新排列变长序列的token以减少无效padding，节省显存约10GB。
扩散大模型的安全机理漏洞：作为目标与攻击者
🧭 扩散LLM安全机理与攻击
Delft University of Technology · University of Neuchâtel
发现扩散LLM安全对齐稀疏且可迁移，提出SN-Guided Diffusion黑盒越狱框架，以极低成本实现高转移攻击成功率
📌 工作参考价值（4 点）
- 论文揭示的安全神经元稀疏性和跨架构可迁移性，可用于生成式推荐模型（如采用扩散LLM）的安全审计，识别并加固关键安全单元。
- SN-Guided Diffusion 框架的黑盒、离线、低生成成本特性（仅需20次生成/提示），可借鉴其对电商推荐或Agent的安全性快速评估，无需访问模型内部即可检测越狱风险。
- 安全神经元剪枝方法表明，少量神经元控制安全行为，可触发针对性的模型对齐测试，在推荐系统上线前作为红队测试手段。
- 整体上虽然偏学术安全研究，但攻击思路可迁移：对扩散生成过程的引导损失设计，可能启发在可控文本生成（如广告文案）中绕过内容策略的攻防演练。
LLM Agent 能否守住剧本：互动叙事长程一致性基准
🧭 LLM Agent 长程一致性评测
University of Macau · Westlake University · Harbin Institute of Technology, Shenzhen · University of Cambridge · University of Aberdeen
提出 NCP 任务与 NCP-Bench 基准，系统评测 LLM 在对抗性互动下维持长期叙事承诺的能力，暴露严重一致性缺陷
📌 工作参考价值（4 点）
- 对话式推荐/导购 Agent 的多轮交互中，可显式维护“用户约束/已承诺事实”的结构化 memory，每轮生成后自动做 conflict check，避免推翻之前承诺（如预算、偏好、已推荐商品属性）。
- 借鉴其 benchmark 设计：把长会话目标拆成 trajectory + commitments + initial facts，用可自动校验的规格替代纯人工评分，可低成本构造电商导购场景的 consistency 回归测试集。
- 对抗性用户干预（如否定已确认信息、突然改需求）是真实线上常态；上线前应对 Agent 做 adversarial turn 压力测试，评测“生存率”而非只看单轮回复质量。
- 论文显示语言质量高不等于逻辑一致，模型规模/通用能力不直接解决长程状态追踪；工程上建议引入外部状态机或检查器，而非只依赖模型隐式记忆。
LLM驱动的混合嵌套搜索：解耦结构与参数优化
🧭 LLM驱动的结构-参数解耦优化
Komorebi AI Technologies
提出外层LLM生成结构草图、内层数值优化器调参的混合框架，在科学任务中大幅超越纯LLM搜索
📌 工作参考价值（4 点）
- 在推荐系统的策略自动化设计中，可以用LLM生成召回/排序的规则结构（如if-else逻辑、模型组合方式），再用CMA-ES或贝叶斯优化微调其中的阈值、权重等参数，避免token浪费并提升性能
- 对于Agent的行为策略优化，可让LLM提出高层次控制流草图，内层用数值优化器（如MCMC）搜索最优参数，减少试错成本
- 在自动超参搜索场景，将LLM生成的训练脚本作为结构模板，内部超参（如学习率、dropout）交给梯度优化器，可结合LLM的先验知识与数值优化的高效性
- 框架支持内外层柔性替换，业务中可根据实际算力与需求选择不同的LLM和优化器（例如用闭源LLM生成结构，开源轻量模型微调参数），具有很强的工程落地灵活性
面向生成式跨域推荐的分层量化与域自适应稀疏路由方法
🧭 生成式跨域推荐 · 分层语义ID与自适应路由 ★ 深度解读
City University of Hong Kong · Kuaishou Technology
提出分层共享-路由量化与稀疏专家混合的生成式跨域推荐框架，结合路由一致性正则化，显著提升稀疏域性能。
📌 工作参考价值（4 点）
- 分层量化码本设计：多域业务中，可构建共享粗粒度码本捕获通用语义（如“运动鞋”），并用可路由的细粒度码本捕捉品类特有细节（如“篮球鞋低帮”），替代全共享或全独立码本，适用于跨品类生成式推荐。
- 稀疏 MoE 的 shared+specialized 结构：在跨域 Transformer 中，始终激活一个共享专家处理通用模式，同时通过 Gumbel-Softmax 路由选择激活一个特化专家，实现条件化参数分配，既保持推理高效性又提升域特异性，适合大促场景下统一多域模型。
- 跨粒度路由一致性正则化：生成 Semantic ID 时，每个 item 对应多个 token，强制其路由分布与 item 级池化分布对齐（KL 散度），可有效降低 token 级路由变异，提高 item 表示连贯性，实现简单，仅需在 loss 中加入该项。
- 负载均衡防止路由坍塌：对码本或专家路由概率施加均匀分布偏差正则，简单有效避免少数容量被过分使用，确保所有专家得到利用，工程上易于落地。
面向智能体强化学习的轨迹相对事后蒸馏框架
🧭 Agentic RL · 轨迹相对事后蒸馏 ★ 深度解读
Zhejiang University · Shanghai AI Laboratory · Tencent
提出TRIAL，通过轨迹相对事后蒸馏将密集监督按轮次合理分配，显著提升多轮Agent的RL训练效率
📌 工作参考价值（4 点）
- 多轮对话/推荐Agent训练中，可用轨迹相对事后视图提供密集token级信用分配，突破GRPO仅靠结局奖励的局限
- 事后视图构造方法可迁移：将用户后续反馈（如点击、购买）作为条件化上下文，重评分已生成的推荐回复，获得符号化修正信号
- 轮次归一化权重（token加权均值=1）确保不改变整体更新强度，仅重新分配监督焦点，易于与现有RL框架（如PPO）集成
- 训练时引入事后信息，推理阶段无需任何额外模块或开销，适合在线服务部署
MISO：用模型内部状态引导排序模型优化
🧭 模型内部状态引导的排序模型局部优化 ★ 深度解读
Meta
利用模型参数、激活、梯度等内部状态聚合出可解释信号，将排序模型优化试错成本降低84–94%
📌 工作参考价值（4 点）
- 将 MISO 的「ranking / alignment / comparison」三种聚合原语引入模型迭代流程，替代纯端到端指标判断，可以快速定位需要扩增容量、替换归一化模块或剪枝的位置，减少盲目试验。
- 工程上可以直接在训练框架中挂载 MIS 提取器（参数、梯度、归一化统计），离线分析后给出一份优先级排序的候选动作列表，再用少量验证 run 确认；适合广告/推荐团队在模型版本频繁更新时做低成本诊断。
- 对齐原语（Alignment）用于发现归一化层分布偏移，可提前干预不稳定特征流，避免线上指标漂移或训练崩坏；这一思路可直接用于电商搜索的 DNN 排序模型。
- MISO 本身是一种闭环优化范式：提取信号→生成建议→验证→再提取。可以结合现有的 AutoML 或超参调优流程，用 MIS 信号做剪枝后的高效搜索，保留可解释性的同时大幅降低重训练消耗。
NeuPAT：面向语言保持多模态大模型的神经元可塑性分配调优
🧭 多模态大模型 · 神经元可塑性约束
Fudan University · Zhongguancun Academy · Institute of Automation, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Tianjin University
用神经元级更新约束保护语言敏感神经元，在多模态微调中恢复94.5%语言能力下降且保持多模态性能
📌 工作参考价值（4 点）
- 在微调多模态推荐/搜索模型时，可用小规模 probe 任务识别对文本理解敏感的神经元/参数，对其实施低学习率或正则，防止原 LLM 的文本召回/相关性下降。
- NeuPAT 的 neuron-wise 约束是轻量、架构无关的，可叠加在 LoRA/Adapter 等参数高效微调方案上，适合线上迭代：只增加少量探测成本，避免多模态训练后语义排序能力退化。
- 类似思想可用于多任务训练（如商品文本描述生成 + 图像理解）：区分不同任务敏感神经元群体，动态分配更新幅度，缓解跨任务遗忘。
- 若业务以纯文本 LLM 为底座接入多模态商品数据，建议在指令微调阶段加入语言能力回归目标或约束，保持语言泛化能力，防止线上 query 理解/改写质量下降。
OasisKV：通过前瞻稀疏预取将解码KV缓存扩展至HBM之外
🧭 LLM推理优化 · 稀疏KV缓存与层次化预取
Imperial College London · KAIST · Microsoft Research · University of Edinburgh
利用推测解码提前预测重要KV块，实现稀疏注意力与多级预取，在有限HBM下提升推理吞吐达2.1倍
📌 工作参考价值（4 点）
- 结合推测解码与KV缓存管理：生成lookahead tokens时记录注意力，预测未来重要token，仅将稀疏的KV保留在HBM，可大幅减少显存占用，适用于长上下文服务（如用户行为序列、商品详情等需要长文本理解的场景）。
- 多级存储分层设计：冷KV块存于主机内存，通过异步流水线预取到HBM，避免解码延迟，可将HBM视为KV缓存的“热数据”缓存，类比推荐系统中的特征缓存策略。
- 基于vLLM实现，易于集成：工程上可直接在vLLM中扩展，业务中若使用vLLM部署LLM推理服务，可通过该稀疏预取方案提升吞吐，尤其适合批量推理和长序列场景。
- 显著降低KV传输与主机内存压力：在prefill-decode分离架构下，传输KV量减少6.5-9.7倍，解码节点内存减少2.2-2.6倍，可降低跨节点通信成本，利于大规模推荐Agent系统部署。
Ouroboros：通过审阅提交实现自我演化的前沿编码 Agent
🧭 自我演化 Agent · 核心演化与安全控制 ★ 深度解读
Lomonosov Moscow State University · Skolkovo Institute of Science and Technology · Joi Lab · FusionBrain Lab at AIRI · HSE University
一个自我修改运行时（harness）的编码 Agent，通过审阅提交通道持续演化，在 Terminal-Bench、OSWorld 等基准上取得最优结果。
📌 工作参考价值（4 点）
- 在电商推荐 Agent 中采用经验驱动演化：把线上故障、用户反馈、任务执行痛点自动转换为改进待办，经审查后修改 Agent 的工具链或提示词，形成自我优化的闭环。
- 实施多模型审查门控对抗自我修改风险：对 Agent 主动提交的代码/配置变更进行强制 diff 审查、指纹校验和 quorum 投票，防止模型自行绕过安全约束（如越权调用 API 或改变路由）。
- 将模型路由、宪法文件、紧急停止路径设为受保护的“治理表面”，通过外部预算、操作员通道和 /panic 信号保持人类权威，避免 Agent 演化过程中削弱控制。
- 借鉴长期运行 Agent 的持久化记忆层设计：维护故障模式注册表（error class → root cause → structural fix），让推荐系统 Agent 能将一次性错误提升为结构性改进，持续提升服务质量。
PACE：基于原语的代码进化实现自动算法设计
🧭 LLM驱动的自动算法设计 · 代码进化
Southern University of Science and Technology · Shenzhen University
将算法局部逻辑解耦为可执行原语，通过原语感知进化和汤普森采样实现代码级复用与有效评估
📌 工作参考价值（4 点）
- 推荐策略部件化与进化复用：将推荐系统中的排序规则、特征交叉方式、后处理逻辑等代码抽象为可执行原语（EAP），通过类似PACE的原语感知算子进行变异与交叉，自动进化更优策略组合，同时保留历史有效片段，避免重新探索。
- 基于Thompson采样的无额外数据评估：对推荐算法迭代中的局部改进，可利用父代相对提升作为奖励信号，通过Thompson采样选择高潜力原语，无需预留大量评估流量，指导在线更新时更具样本效率。
- 防止LLM生成代码的退化迭代：在使用LLM进行推荐模型或Agent逻辑自动优化时，借鉴PACE将关键子模块显式物化为原语集合，并以结构性约束保留它们，可缓解完全重新生成带来的性能波动与有用片段的丢失。
- 跨任务策略迁移的启发：构建跨场景（如不同广告位、国家站）的通用原语池，利用PACE的迁移机制，可快速将已验证的调整策略适配到新场景，降低冷启动人力成本。