AgentKernel：信任原生的智能体操作系统
🧭 Agent 安全操作系统设计
DeepKernel Lab · Tsinghua University
提出信任原生的智能体操作系统 AgentKernel，以身份、感知、认知、执行四支柱提供强制不可绕过的安全边界
📌 工作参考价值（4 点）
- 在电商/搜索推荐 Agent 中，将输入处理从单点过滤改为分层渐进式感知校验，避免恶意商品描述、用户评论等不可信内容直接进入决策链路。
- 对长期记忆（用户画像、历史会话、商品知识库）引入信息流控制与污点标签，防止低可信来源的内容污染记忆，从而降低错误推荐或越权操作风险。
- 工具调用权限应下沉到内核级强制边界，而非停留在应用层 middleware；在允许 LLM 调用改价、发券、修改广告出价等高权限工具时，可借鉴不可绕过的执行控制架构。
- 跨组织协作（平台、商家、广告主）的 Agent 身份由统一内核管理，可设计可信的委托与授权机制，减少权限滥用和越权访问。
边界内生成：距离引导解码保证上下文无关文法合规
🧭 LLM 约束解码 · CFG 合规
University of Luxembourg · Imperial College London
用基于下推自动机的有界摘要与距离上界做 lookahead 剪枝，保证 LLM 输出一定被目标 CFG 接受
📌 工作参考价值（4 点）
- 在 Agent 需要输出 JSON/SQL/查询计划等结构化内容时，可借鉴 distance-guided 可达性摘要替代只看 next token 是否可行的局部约束，避免生成长前缀后因 tokenizer-grammar 不匹配或 token 预算耗尽而无法到达接受状态。
- 离线预计算有界下推摘要和距离上界标签，在线解码时直接用于 horizon-aware pruning，比每次暴力做可完成性检查更适合低延迟线上结构化生成。
- 对电商/广告场景中要求模板或 DSL 合规的文案、推荐解释、规则策略生成，可以定义目标 CFG 后复用该框架，将语法合法从“尽量”变成“保证”。
- 若业务已有 JSON Schema 或 SQL 语法约束，可考虑把 grammar 编译为 PDA 摘要并接入 beam search，提升生成完成率和结构质量，而不是仅依赖 prompt 或局部 token mask。
大语言模型中语言置信度与内部置信度的分歧
🧭 LLM 置信度评估与校准
Dartmouth College · Oakland University
系统评估 30 个 LLM 的语言置信度与内部置信度在分类/生成任务上的关联、量级和校准分歧
📌 工作参考价值（4 点）
- 在电商/Agent 流程中若使用 LLM 自报置信度做拒答、路由或加权，不要默认其与内部概率一致；先做多轴诊断：实例级 Spearman/关联、平均置信度差异、ECE/校准曲线。尤其指令调优模型可能高报置信度且校准更差。
- 如果只能拿到语言置信度，优先用“分数示例”prompt 且避免置信度值塌缩（如全 5 分或全高），这样能保留一定 rank-order 信息用于排序/过滤；纯态度引导（“请更谨慎”）只会抬高/降低数值，不改善与真实质量的 alignment。
- 在生成式推荐或文案生成场景，可以用 semantic entropy 或多次采样一致性作为内部不确定性替代语言置信度；若不能用 logits，可让模型输出 1-5 分而非自然语言模糊词，并做分布检查。
- 工程上按 task difficulty/基座能力分层：简单样本或强 base 模型的置信度更有参考价值；复杂长尾商品/query 不要依赖语言置信度做硬过滤。
DARTS：面向模型合并的解码器感知表征手术调优
🧭 模型合并 · 解码器表征偏差校正
ServiceNow · University of Twente
提出熵加权 L1 与逐位置偏置，解决解码器模型合并后的表征偏差累积问题
📌 工作参考价值（4 点）
- 多任务 LLM 合并部署：如果有商品标题生成、广告文案、搜索 Query 改写等多个 FT/LoRA 模型，DARTS 提供后训练校正路径：合并后用极小参数（0.1%）的逐位置偏置修正 hidden states，避免逐任务部署，降低线上 GPU/显存成本。
- 熵加权对齐思路：在蒸馏、对齐或模型合并时，不要对所有 token 同等对待；对高熵（决策临界）位置加大 L1 回归权重，更直接影响生成质量，可迁移到生成式推荐/文案生成的 loss 设计与难例挖掘。
- 位置相关偏置比线性投影更省参且低延迟：因果 mask 下偏差沿 token 位置累积，用 per-position additive bias 捕捉位置误差，serving 时只是 elementwise add，适合低延迟推理。
- 注意合并模型通常仍弱于任务独立模型，适合对延迟/显存敏感、质量可接受权衡的场景；上线前用业务集做 A/B 验证。
Encore：利用自适应信号路由实现无限音视频生成
🧭 长音频视频生成与跨模态合成
Baidu · Beijing Institute of Technology
提出长音频视频联合生成框架Encore，通过自适应信号路由解决跨模态长时一致性
📌 工作参考价值（4 点）
- 长序列多模态生成可借鉴双通路设计：局部连续性用 chunk 迭代加显式跨 chunk 上下文传递，全局一致性用参考信号加 shifted position embedding，电商短视频、直播切片自动配音等场景可复用。
- Adaptive Signal Routing 的 learnable attention biases 与 residual scales 是通用插件，可控制多模态生成中不同 conditioning 信号（文案、画面、背景音乐）的权重，适合商品视频生成中的模态协调。
- 推理阶段持续对 ground-truth modality 做 conditioning，实现无限长度 audio-to-video / video-to-audio，能迁移到为已有商品图生成配音、或为音频补全视频帧等交互式素材生成。
- 注意：该工作属于多模态生成模型，非推荐系统本身，但可作为内容供给侧自动生成工具，提升电商内容生态丰富度。
HubMixer：推荐系统中渐进式潜在 Hub 混合的参数高效特征交互
🧭 参数高效特征交互 · 潜在 Hub 混合 ★ 深度解读
Kuaishou Technology · Tsinghua University
用少量可学习 latent hubs 组织异构特征交互，参数更少、AUC 更高
📌 工作参考价值（4 点）
- 在已 token 化的精排模型里，若不想对全量 token 做 O(T^2) 交互，可引入 H 个可学习 hubs（H<<T）做 induction→hub self-attention→token readout，计算降到 O(TH)，适合电商/广告 ranking 做参数受控升级。
- 保留 token 级 field identity：不要将交互后的 hubs 池化成全局向量广播；用 token-conditioned cross-attention readout + LayerScale 残差写回，多任务各目标能按需取不同交互语义，避免全局坍缩。
- 静态 learnable hubs 加一个由 mean-pool token 生成的输入条件残差，成本低但能让 hub 随样本软路由；T=32 时 H=16 是精度/参数甜点，再多收益饱和，可作为默认配置参考。
- cross-attention 在 H<<T 时是小矩阵计算，批处理友好、便于 kernel fusion，适合在已有 token-mixing 排序模型上做轻量替换并上线验证深度转化目标。
混沌中的阶梯：测试时扩展何时、如何及为何提升 LLM 机器翻译
🧭 LLM 测试时扩展 · 机器翻译
University of Amsterdam · Vrije Universiteit Amsterdam
系统比较顺序与并行采样在 LLM 机器翻译中的表现，揭示顺序采样在小预算下上限更高并解释其机制
📌 工作参考价值（4 点）
- 在 LLM 生成推荐理由、广告文案、push 文案等短文本任务中，可优先用顺序自精炼（把前一轮输出拼到上下文）而非仅做 i.i.d. 采样+重排；小预算下可用更少采样得到更高上限和更好的自然度。
- 注意顺序扩展不是无代价：推理预算很大时会损害准确性/忠实度，因此业务中应对准确性敏感场景设置预算上限，并用自动指标或人工抽检监控“流畅但偏离原意”。
- 机制上，顺序采样的收益部分来自扩大目标侧上下文，提示我们在生成式推荐/query 改写中不必只重写，可让模型“看到并续写”前序候选，把前序输出作为 soft context；但上下文构造方式要谨慎，温度可保持鲁棒。
- 如果链路中已有 rerank 模块，可尝试 hybrid：小预算先并行采样+rerank 拿一个较优候选，再用顺序自精炼补强自然度，而不是简单堆 N。
解析器状态指导的结构化生成 KV 缓存持久化
🧭 LLM 推理优化 · 结构化生成 · KV 压缩 ★ 深度解读
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences
利用约束解码的解析器状态设计离线校准的 KV 持久化策略，大幅提升结构化生成在压缩推理下的可靠性
📌 工作参考价值（4 点）
- 电商 Agent 中大量 JSON/function call 输出，可直接复用 constrained decoding 暴露的 parser states 作为 KV 保留信号。例如将必需字段、枚举值、参数名标记为高保护 bucket，避免压缩导致关键 schema 信息丢失，降低下游调用失败率。
- 借鉴「离线校准 + 线上查表」的工程化方式：用开发集离线测量每个结构标签+层组的任务错误敏感性和注意力失真，生成策略表；线上只做轻量查找和常量预算状态更新，适合低延迟、高并发推荐/搜索 Agent 服务。
- 任务错误敏感性设置保护下限比单纯依赖注意力分数更可靠。在推荐理由生成、商品参数抽取等结构化任务中，优先保护影响最终可执行性的 token（如字段名、枚举值），可以显著提升压缩后的可靠性。
- 分层分组思路：同一结构角色在不同 Transformer 层采用不同精度（低层低精度、高层高精度），可迁移到长上下文推荐模型或多轮 Agent 对话的 KV 管理，进一步节省显存。
可验证奖励的程序学习：后训练LLM的符号反向传播
🧭 LLM 后训练 · 符号反向传播程序学习
CoreThink AI
提出PLVR，用符号反向传播从少量示例学习显式可验证程序，替代权重更新完成LLM后训练
📌 工作参考价值（4 点）
- 把电商/推荐 Agent 中可验证的中间步骤（价格计算、库存校验、规则判断、SQL 生成）抽成 typed primitives，用程序搜索学习编排逻辑，而不是微调模型权重：能力外置后可审计、可逐步验证、可跨模型迁移。
- 用 per-step contract verdict 做 dense reward 替代只校验最终结果，能显著提升多步工具调用链（query 改写→召回→过滤→排序）的学习效率，适合用于训练或引导推荐 Agent。
- 新任务只需约 100 条示例的程序搜索，无需新微调数据；同一原语库可服务多业务线，边际成本低，适合快速扩展不同场景的可验证逻辑。
- 符号反向传播中的类型推断可作为可解释的 credit assignment，用于混合确定性规则与 LLM 判断的业务流程，避免黑盒 RL 的大样本需求。
KV Cache 淘汰的概率视角：期望估计与解码期校正
🧭 LLM 推理 · KV cache 压缩 ★ 深度解读
University of California, Los Angeles
将 KV cache 淘汰形式化为期望估计问题，提出可纠偏的概率淘汰与解码期校正
📌 工作参考价值（4 点）
- 部署长上下文 LLM 服务（Agent 记忆、商品描述、用户行为序列）时，现有 H2O/SnapKV 等确定式 top-k 淘汰在特定任务上可能灾难性失效；改用论文的 probabilistic eviction + decode-time correction 能提升多任务鲁棒性，适合同一模型同时服务检索、问答、推荐解释等场景。
- 工程迁移成本低：可把已有 score-based 淘汰策略改造成 proposal 分布（如 πH2O=normalize H2O scores），按 head/group 采样并记录 counts，解码时用 Algorithm 1 的自归一化重要性采样校正，改动集中在 attention 计算，无需重训或改模型。
- 温度缩放 τ 是简单可用的 bias-variance 旋钮：高压缩、低采样数时增大 τ 抑制方差，低压缩时保持 τ=1 降低偏差；可按业务 latency/quality 目标做 per-head 或全局 budget 调优。
- 全局压缩率分配可利用论文的采样数与 coupon collector 关系做预算分配，让不同层/head 自适应获得不同压缩率；GQA 模型需用 group 内 mixture proposal 保持支持集一致。
每篇文章都值得一个视频：数字出版商的上下文视频匹配
🧭 基于 LLM 与文本嵌入的文章-视频匹配
Dailymotion
用 LLM 与文本嵌入为文章自动匹配相关视频，已在 Dailymotion 生产环境规模化落地
📌 工作参考价值（4 点）
- 可借鉴 HyDE 思路：用 LLM 把长文本商品描述/文章页面改写成搜索式 query 或假设段落，再做向量召回，比直接拿原文 embedding 更可控，适合电商详情页与短视频/直播切片匹配。
- 两阶段匹配架构：先文本 embedding 粗召回，再用 LLM 做相关性校验或重排，能低成本扩展到千万级 SKU 与视频库；线上可异步处理新文章/新商品。
- 把“文章到视频”看成跨模态配对任务，不需要用户行为数据，冷启动友好；在广告落地页与创意素材匹配、SEO 内容推荐等场景可直接复用。
- 生产部署需缓存 LLM 生成结果、对同义视频做 embedding 预计算，降低推理成本和延迟；与现有推荐链路解耦，作为内容侧增强模块上线。
面向 Agent 搜索的交互感知检索
🧭 Agent 搜索 · 交互感知稠密检索 ★ 深度解读
The University of Queensland
提出交互感知检索器 ITER，用历史查询与轨迹相对监督提升 Agent 搜索证据发现
📌 工作参考价值（4 点）
- 在电商/导购 Agent 的召回或重排中，可将「主需求 + 当前 query + 已尝试 query 序列」作为排序输入，显式告知模型已探索方向；即使不换模型，也能减少已看商品/答案的重复置顶，优先曝光能补充新信息的候选。
- 从用户或 Agent 轨迹构造三层负样本：已点击且有效作为冗余负样本（最高权重，如 3.0），已点击无效作为困难负样本（1.0），曝光未点击作为弱负样本（0.3）。这比传统随机负采样更贴合“边际增益”目标，适合精排/重排阶段。
- 工程上可采用去重式结果接口：把已曝光/已点击的 item 移到侧栏但仍可访问，不占主列表坑位，从而提高后续 step 的新候选覆盖率；论文中该设置带来 26.7% 的延迟访问正样本，对推荐/搜索 Agent 同样有借鉴意义。
- 跨模型迁移时，避免把 free-form pre-search reasoning 作为核心特征；不同 LLM 表达差异大，AgentIR 虽然 search recall 高但 task success 不稳。结构化历史（主 query + 子 query 序列）具有更好的跨 backbone 鲁棒性，更适合多模型混用的线上环境。
PersonaForge：真实多轮用户模拟与 Agent 训练评估
🧭 Agent 用户模拟 · 多轮交互训练 ★ 深度解读
Peking University · Xiaomi LLM-Core · The University of Hong Kong · Renmin University of China
构建 SOUL 驱动的真实多轮用户模拟器，从真实查询反向生成 6.3K 训练数据与 138 任务基准，显著提升 Agent 交互效率与任务完成率
📌 工作参考价值（4 点）
- 构建电商导购/客服 Agent 的多轮训练数据时，优先从真实搜索/会话日志的种子 query 出发，用 LLM 反向推断用户画像与 connected memory，而不是随机生成 persona；这样能保留隐藏意图，让模型学会逐步澄清需求。
- 用户模拟器的提示词可采用 SOUL 结构：身份段落 + 抽象行为参数（消息长度、正式度、emoji）+ connected memory 固化 session 事实；避免用具体 utterance 示例，防止多样性崩溃。这一设计可迁移到任何对话式推荐/客服的仿真用户。
- 在数据合成 pipeline 中预设三阶段质量控制：生成前检查 persona 一致性，运行时用消息长度阈值（如 1500 字符，真实用户 99.2% 以下）检测角色反转，后处理过滤退化模式；可有效降低合成数据污染。
- 评测多轮推荐/搜索 Agent 时，设计渐进信息披露和嵌入矛盾的任务，并按交互效率、工具适当性、任务完成、回复质量四维打分；论文表明这类数据训练后轮次减少约 20%、无效工具调用大幅下降，同时任务完成率提升，对线上体验直接有益。
入口锁定，内部开放：RLVR 收窄推理解空间的位置研究
🧭 RLVR 推理多样性收缩与入口干预
School of Future Technology, Shanghai University · School of Computer Science, University of Birmingham
定位 RLVR 训练后解空间收缩集中在首个算术操作前，提出晚期参数插值在保持 pass@1 下恢复 37% 覆盖。
📌 工作参考价值（4 点）
- 电商/搜索/Agent 场景用 RLVR 或 RLHF 优化 LLM 后，要监控早步 token 熵：若首步熵快速塌缩，生成候选的多样性和长尾覆盖会下降，影响 query 推荐、文案生成和探索型 Agent。
- 想要恢复多样性但不想牺牲主指标，可尝试参数级干预：将晚期层参数与早期 checkpoint 插值，比 surface prompt 有效，类似推荐模型在 exploit/explore 间做平滑 trade-off。
- 训练管线建议优先 staged SFT–DPO–RLVR，而不是直接上 RLVR；这样能保留早步熵，避免削弱后续多次采样、self-consistency、树搜索等 test-time scaling。
- 若业务依赖 RLVR 后模型生成多个候选，不要指望 prompt 层“生成更多样方案”能救回来，需要从训练状态或解码策略入手。
识别-拒答错位：LLM为何回答结构上无解问题
🧭 LLM 拒答路由与可辨识性
University of Southern California · Arizona State University
结构无解问题中LLM已有可线性读取的不可答表征，但与安全拒答通路近正交，导致路由失败
📌 工作参考价值（4 点）
- 在推荐/Agent 工具链中，可对“结构上不可执行/无有效答案”的用户请求做线性探针或残差流方向检测，生成前拦截，避免错误推荐或错误 API 调用。
- 别假设安全对齐的拒答能力会自动迁移到“无效问题”；应单独构建无效意图/工具不可执行分类器，或补训练目标使识别方向与拒答行为方向对齐。
- 推理时 steering 可以在不改参数的情况下提升拒答/澄清能力，适合快速上线和 A/B；对电商问答中“无此商品属性、日期无效”等场景可尝试。
- 预训练已具备不可答表征，说明修复成本可以较低：轻量 LoRA/linear adapter 对齐识别方向与行为方向可能足够。