个性化动态超图增强的KAN-Transformer多行为序列推荐
🧭 多行为序列推荐 · 超图与KAN ★ 深度解读
Hangzhou Dianzi University · Sanya Traditional Chinese Medicine Hospital · Rocket Force University of Engineering · NetEase Inc.
融合个性化动态超图与KAN-Transformer，同时捕捉行为异质高阶关系和细粒度非线性模式
📌 工作参考价值（4 点）
- 动态行为权重超图：针对电商多行为（浏览、加购、购买），根据用户历史行为计算个性化权重，加权 item 相似度矩阵构建动态超边，有效捕捉用户特定的高阶行为关系，可直接增强推荐系统中辅助行为的利用效率。
- KAN 替换 FFN：用 Kolmogorov-Arnold Network 替代 Transformer 中的前馈网络，按输入维度学习独立的径向基函数组合，为不同潜在行为模式提供专用响应函数，解决标准 FFN 的“共享映射”问题，在行为序列建模中可提升细粒度拟合能力。
- 双分支融合架构：超图分支捕获结构与共现关系，KAN-Transformer 分支建模时序与非线性偏好演化，通过可学习的融合系数平衡两者，适用于电商场景中复杂行为序列的联合建模。
- 行为权重先验：对各行为类型预设差异化初始权重（如购买=1，加购=0.7，浏览=0.3），与数据集动态匹配，可作为工业级多行为推荐的基础配置，降低噪声行为干扰。
回顾式 Harness 优化：基于轨迹重放的自偏好提升 LLM Agent
🧭 Agent 自进化 · Harness 优化 ★ 深度解读
City University of Hong Kong · Microsoft Research Asia
提出无需标注的回顾式 Harness 优化方法 RHO，通过自偏好对比轨迹选择最佳技能/工具更新，在软件工程、技术等多个领域显著提升 Agent 表现。
📌 工作参考价值（4 点）
- 无标注的 Agent 自优化管道：RHO 仅利用过去运行轨迹，通过自比较和自偏好选出最优 harness 更新，完全省去人工构造验证集。电商对话 Agent、多智体协作流水线可直接借鉴，从历史对话或操作痕迹中自动提炼更好的提示/工具/技能。
- DPP 挑选困难且多样样本：用 Determinantal Point Process 结合难度评分和语义多样性选取核心集，避免只挑困难而忽视类型覆盖。在推荐场景可类比地用于从海量离线日志中选出最具代表性且难例的样本进行复盘优化。
- Group Rollout + 双重诊断信号：对同一任务并行执行多次，通过“自验证”（单条轨迹中的错误步骤）和“自一致性”（多条轨迹间的冲突）提取结构化改进指令。这一技巧可用于推荐 Agent 的多路召回或结果比较，诊断模型飘移或策略分歧。
- Best-of-N Harness 提案与自偏好过滤：并行生成多个 harness 候选，并用自偏好评分选最优，避免单次编辑的不稳定。工程上相当于多个候选流水线并行评估，可用来做线上策略变更的安全上线。
记忆重构而非检索：面向LLM Agent的图记忆
🧭 LLM Agent 记忆重建 · Cue-Tag-Content 图 ★ 深度解读
National University of Singapore
提出MRAgent，将记忆组织为Cue–Tag–Content图，通过LLM推理驱动的主动重建替代被动检索，长时记忆推理性能提升23%并大幅降低Token消耗。
📌 工作参考价值（4 点）
- 记忆图设计：Cue–Tag–Content结构以Tag作为语义中间层，可复用到电商客服Agent的长期交互记忆，支持多跳关联检索，避免一次性全图遍历的噪声和成本。
- 主动重建机制：将LLM推理嵌入记忆访问循环，允许Agent根据中间证据动态调整检索路径，适合处理复杂查询或多轮对话中的上下文积累，避免被动检索的一次性固化缺陷。
- 按需检索降低成本：通过Tag先筛选再访问具体内容，显著减少Token消耗（实验中仅118k，对比A-Mem的632k），适合需要控制推理开销的生产环境。
- 多层记忆分层：融合场景记忆、语义记忆与话题抽象，可用于构建用户长期画像和交互历史存储，支持个性化推荐或服务中的稳定知识抽取与事件回溯。
基于想象力的思考：与世界模拟器协作的Agent视觉空间推理
🧭 Agent视觉空间推理 · 世界模拟器
The University of Hong Kong · Shanghai AI Laboratory · Shanghai Jiao Tong University · Fudan University · Beihang University
提出Astra框架，通过RL训练VLM策略决定何时调用世界模拟器生成新视角图像，提升多视图空间推理能力
📌 工作参考价值（4 点）
- 工具调用的决策学习：Agent仅在想象观察优于直接回答时才调用世界模拟器，这种“何时使用工具”的策略可迁移到对话推荐Agent中，避免过度依赖外部信息导致延迟和误导。
- 两阶段RL课程设计：先通过行为克隆预热工具使用，再用RL优化调用决策，这种分阶段训练策略可用于训练推荐Agent学习何时调用知识检索或用户画像补充信息。
- 视一致性训练保证证据可靠：通过位姿和内容一致性约束训练世界模型，确保生成的观察与实际一致；类似地，在多模态推荐中生成商品描述或图像时，可引入一致性损失提升信息真实性。
- Agent与环境交互的闭环框架：Astra将视觉推理转化为“观察-想象-推理”循环，在电商场景中，可构建模仿用户浏览行为的模拟环境，让推荐Agent主动探索生成更合理的推荐理由。
基于原生全模态LLM的判别式隐藏状态读出用于多模态情感分析
🧭 判别式读出 · 多模态情感回归 ★ 深度解读
School of Computer Sciences, Universiti Sains Malaysia
用判别式隐藏状态回归替代生成式解码，在连续情感分析中精度更高、更可靠、推理更快
📌 工作参考价值（4 点）
- 连续值输出的LLM应用首选判别式头：当需要预测连续值（评分、概率、强度）时，不要用生成字符串再解析，直接从最后一token隐藏状态接轻量MLP回归，避免格式错误和精度损失，同时大幅降低推理延迟。
- QLoRA + 动态帧采样降低多模态LLM硬件门槛：在单张32GB消费显卡上跑通7B全模态模型，LoRA rank=32，仅训练1.14%参数，该配方可直接迁移到电商视频评论理解、直播情感监控等任务。
- 可控读出对比可作为模型诊断工具：固定骨干、数据和适配方案，只改变读出方式，能定量评估生成式解码的额外误差和不可靠性，类似思路可用于推荐系统中LLM输出评分/理由时选择最优读出策略。
- 音频预处理合理提点：用轻量去噪（如DeepFilterNet）清理音频通道，可改善细粒度回归指标，这在金融举报音频、客服录音等场景下值得尝试。
仅索引一次：跨层稀疏注意力与共享路由
🧭 长上下文推理 · 稀疏注意力架构
Microsoft Research · Tsinghua University
在 KV 共享架构上复用路由索引，跨层共享 token 级 top-k 选择，以极低开销实现高精度稀疏注意力，大幅提升长上下文推理效率。
📌 工作参考价值（4 点）
- 长上下文推理效率优化：在电商搜索/推荐 Agent 中，需要处理大量历史对话或商品描述时，可借鉴 CLSA 的共享路由思路——使用 YOCO 类架构共享 KV 缓存，并让不同层复用相同的 top-k 路由索引，极大降低 token 稀疏注意力的路由开销，实现接近 block 稀疏的速度却能保持 token 级精度。
- 工程实现 trick：对于已使用 YOCO 或类似 KV 共享的 LLM 服务，只需额外实现一个跨层复用的 indexer，预填充时计算一次 token 级 top-k，解码时各层直接读取该索引进行稀疏注意力，几乎不增加额外成本，即可将长上下文解码吞吐提升数倍。
- Agent 多轮交互场景：当 Agent 需要在长多轮对话中维护完整上下文并频繁解码时，CLSA 能将 KV 缓存存储大幅减少（因子为数倍），并保持解码速度，同时质量几乎无损，适合部署在资源受限的在线服务中。
- 生成式推荐中的长序列生成：若用 LLM 生成个性化推荐理由或连贯的 item 序列，CLSA 可加速长序列的自回归解码，降低延迟，尤其适合对实时性要求高的推荐场景。
扩散语言模型的自增强检索
🧭 扩散语言模型 · 动态检索增强
Cornell University
利用扩散去噪中丢弃的低置信度 token 作为前瞻信号，实现无训练的动态检索增强生成
📌 工作参考价值（4 点）
- 电商对话或商品描述生成中，可利用扩散模型的并行去噪过程，提前从中间低置信度 token 中提取关键实体，触发多跳知识检索，提升答案的完整性和事实准确性。
- 方法完全无训练、不依赖特定检索器，可直接嵌入现有的扩散语言模型推理流程，非常适合业务中快速尝试不同的知识库或检索策略。
- 扩散模型的高吞吐特性（8× 提升）加上前瞻检索，能在高并发电商客服或内容生成场景下，在保持答案质量的同时显著降低延迟。
- 对于 Agent 中的多跳推理或工具调用，可以借鉴前瞻 token 的思路，在最终决策前动态获取更多环境信息，提升决策可靠性。
ℓ2 范数：大语言模型推理动态的内在信号
🧭 LLM 推理内在信号与测试时控制 ★ 深度解读
Peking University · Zhejiang University
发现隐藏状态 ℓ2 范数是无需训练的模型内在推理强度指标，并基于此提出三种推理增强技术。
📌 工作参考价值（4 点）
- 在 LLM Agent 推理链中，可实时监控各层 ℓ2 范数，检测推理峰值以自适应分配计算资源（如递归计算或提前退出），在电商复杂查询解析、多步决策等场景提升效率。
- 对生成式推荐，ℓ2 范数可作为一种无监督的候选序列质量度量，替代外部打分或规则，用于生成式 item 推荐中的响应重排或生成路径选择。
- 三种推理增强技术（层递归、隐藏状态引导、响应选择）无需额外训练，可直接嵌入现有的推理引擎，为推理时 Agent 缩放提供轻量、数据无关的工具。
- 发现 ℓ2 范数与 SAE 推理特征激活高度正相关且具有因果性，提示在训练推荐/Agent 模型时，可加入 ℓ2 正则或约束来激励中间推理表征，提升模型对复杂任务的泛化。
LLM Agent 的冷启动安全差距现象
🧭 Agent 安全性 · 冷启动安全差距
University of California, San Diego
发现 LLM Agent 在会话起始安全性最弱，通过预先完成少量常规任务可显著提升安全性 9-52%
📌 工作参考价值（4 点）
- Agent 部署预热策略：在 Agent 正式接收用户请求前，先让它完成几个常规的无害工具调用任务（如查询天气、简单 API 调用），可以显著降低后续面对恶意请求时的风险。这个预热步骤可直接嵌入 Agent 初始化流程，成本低且不影响模型功能。
- 安全评估中加入对话深度维度：现有安全评估往往只在首轮对话测试，遗漏了冷启动脆弱性。在设计内部 Agent 安全 Benchmark 时，应控制前置常规任务数量，模拟真实部署中上下文逐渐累积的场景，避免高估安全性。
- 基于隐藏表示的在线安全监控：论文发现模型隐藏状态会随前置任务增多向安全对齐区域迁移，这一动态特征可用来构建轻量级安全监控器——在 Agent 运行过程中持续检测状态偏离，预警潜在不安全行为。
- 区分安全与效用的影响因素：实验表明，Agent 先前的回答对安全影响较小但对保持效用至关重要，因此预热时若只施以安全指令而忽略实际任务执行，可能损害后续功能。部署预热应使用真实的常规任务，而非单纯的安全提示。
LLMCodec: 用视频编解码器高效压缩大模型权重
🧭 模型压缩 · 仿射量化与视频编码
Shanghai Jiao Tong University
将视频编解码器VVC/H.266与仿射量化结合，无需微调即可高压缩LLM权重，显著降低困惑度并提升下游精度
📌 工作参考价值（4 点）
- 权重压缩方法可直接用于电商推荐模型部署，在边缘设备或带宽受限场景下降低模型体积和传输成本
- 视频编解码器对矩阵数据的结构化压缩思路可迁移到推荐系统Embedding表的压缩，利用现有硬件编解码加速
- 无需校准数据或微调的压缩流程适合在线学习场景，模型更新后无需重新校准即可快速压缩发布
- 2-bit极限压缩下仍保持较低困惑度，为Agent场景中的轻量化LLM本地部署提供新的压缩方案
弥合行为孤岛：利用LLM提升多垂域电商推荐冷启效果
🧭 多垂直推荐 · LLM特征工程 ★ 深度解读
DoorDash Inc.
用分层RAG从富数据垂域推断用户分类偏好特征，注入排序模型解决冷启问题
📌 工作参考价值（4 点）
- LLM作语义特征提取器：对用户餐厅订单与搜索等非结构化行为序列，通过分层RAG生成四层商品分类（L1-L4）的偏好特征，作为稠密用户画像直接注入排序模型，可迁移至电商多品类推荐冷启场景。
- 分层推理 + 置信度过滤：采用 cascade inference 从粗到细约束生成空间，设置 temperature=0.1、置信度阈值 0.8 并强制只输出预定义分类节点，显著减少幻觉并保证特征一致性，该 prompt 设计方法可直接复用。
- 工程降本关键措施：prompt caching 将指令与全量分类静态部分缓存，仅追加动态行为序列；按用户新行为触发 just-in-time 特征更新，综合降低 LLM 调用成本约 80%。
- MTL 特征接入方式：将变长 taxonomy ID 列表经共享 embedding 表映射后做 mean pooling，再与已有 user/item 特征拼接送入共享 MLP trunk，实现即插即用，不改变模型结构即带来全人群 AUC 相对提升 4.4%。
弥合语义-协同鸿沟：面向冷启动推荐的非对称图架构
🧭 图推荐系统 · 冷启动物品嵌入生成
Tubi · Kumo AI
提出Shallow-RHS非对称链路预测架构，使内容塔仅从固有特征生成协同感知嵌入，实现冷启动物品检索的图补全
📌 工作参考价值（4 点）
- 将冷启动物品推荐视为图补全：训练内容编码器将元数据等固有特征映射到协同过滤对齐的嵌入空间，新物品上线即可获得嵌入，通过 ANN 检索相似暖物品作为隐式邻居，无需重新训练或索索引重建。
- 工程实现上采用非对称设计：内容塔刻意不引入交互衍生特征或图上邻居聚合，避免冷启动阶段交互缺失导致的梯度断裂，同时降低在线推理延迟；设备塔则正常利用时序图捕获协同信号，二者解耦部署。
- 设备冷启动可复用同样思路：利用人口统计等属性构建群组级嵌入，在没有历史行为时提供兜底表示，协助新设备获得合理推荐。
- 这种做法对电商冷启动物品召回有直接参考价值：新商品可用标题、类目、属性等特征实时生成向量，直接接入已有向量检索通路，靠代理物品的协同信号撬动流量，冷启动周期缩短且可量化评估。
密集上下文：词法密度限制LLM有效上下文容量
🧭 长上下文 · 信息密度 · find-the-needle评测
Politecnico di Torino · University of Turin
发现词法密度是长上下文性能衰减的第三大因素，高密度信息显著降低LLM检索准确率
📌 工作参考价值（4 点）
- 在Agent、RAG等长上下文构建中，高密度信息（如密集拼接商品详描、用户行为序列）会直接导致LLM忽略关键事实，可尝试先做信息解耦或摘要，降低局部密度后再输入。
- 评测LLM应用的上下文利用能力时，除长度和位置外，应监控信息密度指标，指导prompt压缩或分段策略。
- 生成式推荐的item特征拼接若过于紧凑，可能退化生成质量，需控制信息密度，或采用结构化表示替代自由文本拼接。
- 多智体协作中，多次传递的上下文若不经清洗，密度累积会加速遗忘，可设计密度感知的记忆管理机制。
面向图理解的大模型边感知曲率建模
🧭 图感知LLM · 边曲率信息注入
Nanyang Technological University · Fuzhou University · University of Wisconsin-Madison · Newland Digital Technology Co., Ltd. · Xiamen University
首次理论分析节点对齐的不足，提出曲率增强的边感知提示与正曲率消息传递，解决图文本对齐的过压缩问题
📌 工作参考价值（4 点）
- 构建商品知识图谱增强的LLM问答或推荐解释时，可借鉴边感知提示设计：将结构化边信息（如“用户-购买-商品”）直接注入提示词，无需额外训练，低成本提升图结构感知。
- 在用户-商品交互图上进行消息传递时，可利用离散Ricci曲率识别负曲率边（如噪声交互或长尾连接），仅沿正曲率边传播信息，缓解过压缩，提升表示质量。
- 针对多模态对齐（如商品图文与用户行为图），分析论证了单纯节点对齐的次优性，提示我们需显式建模边特征（如交互强弱、关系类型）以避免信息瓶颈。
- 曲率引导的消息传递可作为一个轻量级模块嵌入现有Gnns，在召回或排序的图模型中尝试，可能改善稀疏交互下的用户/物品表示。
MolE-RAG：面向化学的分子结构增强检索增强生成
🧭 RAG · 化学分子性质预测
University of Illinois Urbana-Champaign · University of California, San Diego
无训练的分子中心RAG框架，集成多种化学上下文，大幅提升LLM分子性质预测性能。
📌 工作参考价值（4 点）
- 多源上下文注入思路可迁移：为每件商品提供属性、评论摘要、相似商品等多源信息，提升LLM推荐解释或预测。
- 无需微调的推理时增强：直接检索注入知识，适合迭代快的电商业务场景，降低模型更新成本。
- 结构相似性检索：利用商品结构化特征（类目、品牌、价格）计算相似度，检索相似商品信息作为prompt，增强模型理解。
- 根据任务和模型选择上下文源：不同LLM偏好不同来源，可消融实验确定最优组合，避免信息冗余。