个性化视频缩略图生成:偏好感知高亮检索与可控生成
🧭 个性化视觉内容生成·高亮检索
提出个性化视频缩略图生成任务,结合用户偏好高亮帧检索和VLM引导扩散生成,显著提升点击偏好
📌 工作参考价值(4 点)
- 广告/商品创意图个性化:借鉴偏好感知检索,根据用户历史行为选择视频/图像中的关键区域(锚点),再用生成模型个性化重构,例如动态广告图生成。
- 两阶段解耦架构:检索阶段融合用户交互和内容语义,生成阶段注入VLM提取的语义线索,可提高生成结果的相关性和质量。
- 面向点击优化:通过用户研究直接验证个性化缩略图能提升点击率,类似方法可用于电商搜索推荐中的创意元素个性化(如主图背景、文案风格)。
- 技术细节:使用扩散模型基于锚点图像指导生成,结合文本提示(如VLM描述)控制风格,可迁移至商品场景图的个性化生成。
更便宜更好:折扣感知网络用于电商推荐CVR预测
🧭 折扣感知CVR预测
DANet通过傅里叶频谱、分布去偏和回归辅助任务建模商品折扣率对转化率的影响,离线AUC提升1.61%。
📌 工作参考价值(4 点)
- 将折扣率作为显式特征引入CVR模型,并使用时频变换捕获长周期折扣趋势,可借鉴到价格敏感品类的推荐排序中。
- 分布去偏模块设计适用于电商大促、满减等场景,能缓解用户折扣偏好和周期性活动带来的偏差,可迁移至其他有偏差的用户行为建模(如优惠券使用)。
- 引入折扣率回归辅助任务,联合主CVR任务训练,能提升模型对折扣幅度的准确表达,可推广到其他数值敏感特征(如价格、评分)的多任务学习。
- 整体架构轻量,已线上部署,证明折扣感知信号在工业级推荐系统中切实有效,可作为转化率模型的通用增强模块。
功能感知中间填充训练提升编码智能体基座模型
🧭 编码智能体训练 · 函数感知填充
用函数调用结构的自监督中间训练增强编码智能体,在复杂任务上提升超3%并缓解能力侵蚀
📌 工作参考价值(3 点)
- 主要是学术贡献,业务可借鉴点有限。
- 利用程序依赖图选择关键片段进行掩码训练的思想,可迁移到序列推荐中——针对高偏置交互或语义关键 token 进行掩码,强化模型对长程依赖的建模。
- 在对话式推荐 Agent 的训练中,可设计类似的中间训练阶段,注入“查询-结果-使用”的循环偏置,提升模型对工具返回结果的利用效率。
关键帧条件视频生成全面评估基准
🧭 关键帧视频生成评估基准
HKUST(GZ) · Kling Team · PKU · RUC · NWPU
首个系统性关键帧视频生成评估基准,分解六项执行度指标并揭示模型在忠实度与自然度间的权衡
📌 工作参考价值(4 点)
- 若涉及商品展示视频生成(如电商详情页短视频),可借鉴六维关键帧执行度指标(存在性、保真度、时序、定位、持久性、唯一性)构建自动化质量校验流水线。
- 自动化评估框架中“证据支撑的MLLM判断+专业感知模型”的组合,可用于离线评测生成视频对给定商品图片序列的还原程度,减少人工评审成本。
- 实验揭示的“关键帧密度增加导致性能退化”结论,提示在设置关键帧数量时需平衡约束与自然度,对产品化参数调优有参考价值。
- 开源模型无法正确解释故事板网格输入的时间顺序,提醒若采用此类输入格式需谨慎,或需设计前处理模块注入时序信息。
基于信息增益的推理预算分配优化语义ID生成式推荐
🧭 生成式推荐 · 语义ID · 推理预算分配
按语义ID位置的信息增益自适应分配推理计算量,实现精度与效率平衡
📌 工作参考价值(4 点)
- 生成式推荐推理时,可按语义ID位置的信息增益分配latent refinement步数:早期token(如类目层级)增益高,多分配计算;后期token增益低,少分配,总体节省计算量。
- 在实际部署中,可离线统计不同位置token的信息增益,或在线上动态学习分配策略,平衡推理延迟与精度。
- 方法轻量,不改变模型结构,仅调整推理时的迭代步数,易于在已有生成式推荐框架上实现。
- 思路可拓展至其他序列生成任务(如搜索query建议),对重要token分配更多计算资源。
基于证据锚定的可验证智能推理:通过工具见证内核证明消除LLM幻觉
🧭 LLM推理验证 · 证据锚定
提出 EG-VAR 架构,用 Lean 证明内核确保 LLM 推理每一步有可靠证据来源,实现 100% 验证精度。
📌 工作参考价值(4 点)
- 借鉴证据锚定思想:在电商搜索推荐 Agent 生成关键结论(如商品合规性判断、敏感推荐理由)时,强制输出附带数据源引用与验证链,减少幻觉风险
- 轻量级审计机制:可简化 Lean 形式化验证,用规则引擎或数据库约束替代,对 Agent 输出关键字段做一致性检查并记录追溯日志
- 分层设计思路:将高风险决策(如广告内容审核)剥离为独立验证模块,普通 LLM 调用保留灵活性,形成“主推理 + 形式化 sidecar”架构
- 错误处理模式:明确区分“可验证断言”与“放弃输出”,避免 Agent 生成无法验证的内容,提升系统整体可信度
KnowAct-GUIClaw:知识驱动、完美执行的个人 GUI 助理,具备自演化记忆与技能
🧭 Agent 框架 · 自我演化 · GUI 交互
Harbin Institute of Technology, Shenzhen · Shenzhen Loop Area Institute
提出 KnowAct-GUIClaw 框架,通过可插拔的 GUI 子智能体与经验归因记忆、自演化技能库,实现跨平台长程任务自动化,性能超越闭源模型
📌 工作参考价值(4 点)
- 经验归因记忆与技能库的架构可迁移至对话或推荐 Agent:将用户交互历史与反馈持续存入记忆,用于动态更新用户画像和决策策略,提升长会话中的准确性。
- 可插拔子智能体设计适用于多端部署:在电商/广告场景中,可为不同平台(App、小程序、网页)开发专用 GUI 子智能体,共享同一记忆与技能库,降低跨平台迁移成本。
- 技能自演化机制可用于工具调用优化:借鉴其从执行经验中自动提取并泛化“技能”的思路,可让推荐系统或广告投放 Agent 根据历史效果数据自动发现高频操作模式,形成可复用的执行捷径。
- 基于开源的 Agent 框架改造:在 OpenClaw 等现有框架上引入 Know-Route-Act-Reflect 管线,无需从零开发,即可尝试为用户助理类产品增加自我改进能力。
LLM KV缓存近无损压缩:联合Tucker分解与JL残差分配
🧭 LLM推理 · KV缓存压缩
将KV缓存视为三阶张量,用部分Tucker分解+JL旋转低比特残差联合优化,实现近无损2-3倍压缩
📌 工作参考价值(4 点)
- 对于部署LLM做推荐解释、对话Agent的场景,可直接应用JoLT将KV缓存压缩2-3倍,节省显存、提升批处理大小与吞吐,且保持输出质量几乎不变。
- Tucker分解+JL残差的联合优化思路(拉格朗日对偶分配秩与比特预算)可迁移到电商搜索推荐中其它高维张量压缩任务,如用户-商品-时间嵌入压缩。
- FlashJoLT的随机SVD加速策略可作为在线压缩的工程参考,适用于需要动态调整压缩率的推荐模型部署。
- 该方法在分组查询注意力和多头注意力结构上均有效,证明其对主流LLM架构通用,建议在实际Agent/生成式推荐系统中优先尝试。
LLM 品牌回答的噪声从何而来:方差分量分解
🧭 方差分量分解 · 可靠度优化
Estonian Entrepreneurship University of Applied Sciences · Rankfor.AI
将 LLM 品牌推荐的非确定性分解为语言、模型、提示改写和重采样四类方差,指出扩展语言和模型比重复采样更有效提升可靠性
📌 工作参考价值(4 点)
- 评估 LLM 生成推荐(如品牌/商品推荐)的可靠性时,不要只重复多次提问:重复采样的方差贡献大但边际收益低;优先增加语言变体、模型种类可显著降低相对误差。
- 品牌排名可靠性极低(单次回答 ICC 仅 0.01),若用 LLM 做品牌健康度监测或竞品分析,必须设计多语言多模型交叉采样方案,否则结果几乎无区分度。
- 该方法可直接移植到电商搜索推荐评估:通过 G 研究分解方差分量,再通过 D 研究优化样本预算,确定需采样多少 prompt、语言、模型以获得目标可靠度。
- 品牌-语言交互(8.6% 方差)意味着多语言评估时品牌得分随语言变化,提示需要统一语言基准或加入语言控制,避免双语偏差。
MemOps:长周期对话中记忆生命周期操作的基准诊断
🧭 对话记忆操作评估
将对话记忆评估从黑盒问答转为显式操作诊断,揭示记忆失败的结构化原因
📌 工作参考价值(4 点)
- 在购物助手/推荐Agent中显式建模记忆操作:不要只依赖隐式的长期记忆,设计 remember、forget、update、reflect 等原语,并记录每次操作的范围、触发条件和状态变迁,便于追踪用户偏好演化。
- 评估记忆系统时分离最终答案与内部状态:当Agent回答“我上次推荐了什么”时,不仅检查答案正确性,还需验证内部存储的交互历史是否一致,避免错误答案被掩盖。
- 会话级检索优于逐轮检索:对于基于检索的记忆系统,维持整个会话的上下文窗口或会话级索引比逐轮检索更可靠,可将此原则用于构建商品浏览会话记忆。
- 长上下文模型在记忆轨迹重建上弱:若直接使用长上下文LLM作为记忆载体,需注意其对有序操作序列的遗忘问题,建议结合结构化记忆日志或定期压缩/反思机制。
MESH:通过异质内容统一扩展检索规模
🧭 异质内容统一检索 · 尺度优化
提出模块化门控偏置校正框架MESH,缓解多内容层级检索中的扩展偏置,大幅提升稀疏内容召回能力
📌 工作参考价值(4 点)
- 异质内容分域建模:将不同曝光频次的内容(爆款、长尾、冷启动)划分独立特征域,通过域隔离减少高频信号对低频信号梯度更新的干扰。电商推荐中可针对新品、长尾商品设置专属子塔或门控单元,避免被爆品淹没。
- 门控偏置校正单元:在上层融合前引入可学习的门控偏置,自动校准不同域的输出置信度,缓解冷门 item 在打分时被系统性低估的问题。可直接嵌入现有双塔或多塔的融合层。
- 稀疏 item 缩放指数提升14×:该方法显著改善新鲜物品的长尾分布拟合,线上新鲜 repin 提升5.5%,证明长尾内容也能从模型容量增长中受益。适用于电商新品冷启、UGC内容推荐等场景。
- 异步 Serving 提升吞吐2.87×:模块化设计天然支持异步执行,稀疏分量可延迟更新或复用缓存,降低在线延时。对需要多路召回融合的大规模系统,可作为工程优化参考。
面向视觉无关的组合图像检索:属性增强评分与LLM重排序
🧭 视觉无关组合图像检索·属性增强与LLM重排
The University of Tokyo · Kioxia Corporation
通过属性增强混合评分和LLM重排序,实现视觉无关的零样本组合图像检索,CIRR R@1 44.04%(+8.79%)
📌 工作参考价值(4 点)
- 视觉无关检索范式:将数据库图像离线预生成文本描述(如商品标题/属性),用文本检索替代视觉编码器,大幅降低计算和存储成本,适合电商海量商品库的粗召回。
- 属性增强评分:显式提取并匹配查询与候选图像的属性(颜色、类别、材质等),弥补纯文本描述的视觉细节丢失,可嵌入商品搜索排序的relevance score计算中。
- LLM重排序:对粗排Top-K结果,利用LLM验证“修改文本”是否被满足(如“改成黑色”),提升语义一致性;可迁移至电商对话式搜索、多模态交互中的精排阶段。
- 零样本能力:整个流程不依赖CIR标注数据,开箱即用,适合冷启动或快速迭代场景;可快速验证“参考图+修改文本”这种查询形式在导购、搭配推荐中的效果。
让个性化模型更轻量更智能
🧭 个性化排序模型轻量化与深度缩放
将个性化排序重构为紧凑知识库的迭代精炼,实现 O(N) 每层成本,解耦深度与用户历史长度
📌 工作参考价值(4 点)
- 紧凑中间表示解耦深度与序列长度:借鉴 SlimPer 固定大小的知识库表示,在电商推荐中可串联更深网络而不显着增加计算与内存,便于扩展更细粒度的用户行为建模。
- 请求级优化共享用户特征:对同一请求中多个候选商品,只维护一份用户侧 token,大幅减少显存占用,适合高并发在线广告/推荐服务。
- 显式多模态匹配打分:在注意力中直接计算用户与商品 token 的匹配分数,可迁移到搜索广告中,在粗排或精排阶段提供可解释的相关性信号。
- 统一稀疏稠密序列特征:将账户画像、实时行为与长期序列统一 backone 处理,简化特征工程与模型部署,适合大促场景下多类型特征快速融合。
RxBrain:联合语言推理与视觉想象的具身认知基础模型
🧭 具身Agent联合语言-视觉规划
Tencent Robotics X Team · Futian Laboratory · Tencent Hy Team
将语言推理与视觉想象统一为一个规划序列,实现具身任务的耦合文本-视觉规划与执行
📌 工作参考价值(4 点)
- 多模态规划范式可迁移:将高层语言推理(任务分解、约束、时序逻辑)与视觉状态预测(子目标图像生成)融合成一个序列,这种“语言蓝图+视觉落地”的范式可借鉴到电商商品推荐文案生成中,先规划叙述逻辑再生成对应商品图,提升图文一致性。
- 统一的多模态生成架构:采用单模型支持语言、图像、视频的理解与生成,避免多模型拼接的累积误差。对于需要同时处理商品标题、详情图、视频的推荐系统,统一的 Transformer 混合架构可简化流程。
- 自动数据构造管线:从视频自动分解规划步骤并对齐视觉状态,这种弱监督思路可启发我们利用用户行为序列(如点击→加购→购买)构建“推理-状态”训练数据,训练推荐模型进行因果推理或意图预测。
- 零样本动作扩展:模型在没有大规模动作数据预训练的前提下,仅通过语言和视觉规划直接泛化到连续机器人控制。这提示在多模态推荐中,若将动作空间也建模为序列的一部分,可能实现未见过动作的组合推荐。
深度学习因果检索优化:Pinterest高效电商分发触发策略
🧭 因果学习 · 检索触发策略优化 ★ 深度解读
Pinterest, Inc. · LinkedIn
将检索级触发决策建模为因果提升问题,利用随机化数据与双重稳健多任务学习,离线重放选择阈值,线上大幅缩减购物触发并提升整体参与度
📌 工作参考价值(4 点)
- 触发决策因果化:将“是否触发某类候选集”视为增量预估问题,而非相关性排序,可直接用于电商推荐中控制商品卡片、广告坑位的展示频次,避免过度分发损害用户体验。
- 反事实数据收集与DR训练:通过随机化Holdout流量获得无偏反事实数据,使用Doubly Robust伪结果训练uplift模型,配合多任务学习与事件级上采样,可复用到消息推送、广告投放等稀疏事件的触发决策中。
- 离线重放评估与阈值选择:基于随机化日志的线性时间复杂度重放算法,提供不同阈值下的业务指标曲线,与线上效果高度一致,无需频繁线上实验即可迭代策略,工程成本低。
- 解耦学习与决策:模型只学习潜在结果和提升信号,策略阈值通过离线重放选择,二者解耦,使产品侧可审计、可解释地调整触发力度,无需重新训练模型。