MentalThink:在心理SVG世界中塑造思维
🧭 多模态视觉推理 · SVG中间表示
Beijing University of Posts and Telecommunications · University of Chinese Academy of Sciences · StepFun
让多模态大模型生成并执行SVG代码作为中间视觉表示,实现可验证的空间推理。
📌 工作参考价值(4 点)
- 商品空间关系理解:用 SVG 生成商品轮廓与布局,辅助多模态模型理解复杂场景(如家具搭配、服装层次),提升搜索与推荐的准确性。
- Agent 多步规划:借鉴“心理图像”机制,在 Agent 执行动作前生成场景 SVG 草图,用于自我反思和步骤优化,提高任务成功率。
- 广告创意迭代:利用 SVG 的可编辑性,快速生成和调整广告图片的空间构图,结合 RL 迭代精炼,降低人工设计成本。
- 训练范式复用:SFT 对齐结构化语法 + 多轮 RL 迭代修正是可迁移的通用训练策略,适合需要精确控制输出格式(如图形代码)的生成式推荐场景。
面向对象的 LeJEPA:利用 SAM 掩码实现数据高效的自监督学习
🧭 自监督对象中心表示学习
Biomedical Image Computing Group, ETH Zurich
用现成 SAM 对象掩码代替场景级对齐,搭配实例分离损失,大幅提升小数据下的视觉表示质量
📌 工作参考价值(4 点)
- 商品图像预训练:当你用自监督预训练商品图时,直接用 COCO 等通用数据可能效率不高;借鉴对象级 LeJEPA,用 SAM 自动提取商品主体 mask,只在对象区域进行对比,能更快学到细致特征,对小样本商品分类或相似款识别有效。
- 多商品场景分离:如果你做搭配推荐或店铺风格理解,一张图里有多件商品,实例分离损失(同图其他对象当负例)能强制每个商品特征相互远离,避免特征混淆,可复用到多兴趣用户向量或穿搭组合建模中。
- 伪掩码辅助训练:迁移其“廉价先验”思路——不追求端到端联合发现对象,直接用现成分割模型(如商品分割 API)生成伪标签,降低训练不稳定性和工程复杂度,在商品表示学习时快速落地。
- 数据效率验证:论文在 10% COCO 上仍显著优于全量图像级模型,提示你在标注稀缺的垂直行业(如小众品类、UGC 商品图)先用自监督预训练再微调,就可能得到较好基座。
OrbitQuant:图像与视频扩散 Transformer 的数据无关量化
🧭 扩散 Transformer PTQ · 数据无关旋转量化
Cantina Labs · University of Southern California · University of Illinois Urbana-Champaign
在归一化旋转基上量化,用固定码本适应所有时间步和模态,无需数据重校正,将 DiT PTQ 推进到 W2A4。
📌 工作参考价值(4 点)
- 对推荐系统中可能使用的 Transformer 或扩散生成模型,旋转基量化可消除校准集依赖,避免因用户行为分布漂移而反复重校。
- 权重旋转离线吸收进线性层,推理时仅对激活做前向旋转,工程实现简洁高效,可直接参考其算子融合技巧。
- 单一码本跨层复用,大幅降低推荐模型量化时的码本存储与设计复杂度,适合存储受限的线上环境。
- W2A4 极低比特可成倍压缩推理带宽,在电商直播、短视频内容生成等需高吞吐的 GPU 受限场景具备直接落地价值。
频谱重连:探索、净化与模型合并
🧭 LLM 后训练参数频谱提炼与合并
Tsinghua AIR · ByteDance Seed
仅保留0.58%参数的频谱核心,维持RL微调推理能力并增强探索与多域融合
📌 工作参考价值(4 点)
- 在 RL 微调后,提取参数更新中的低维频谱核心,去除正交噪声,可作为轻量级后处理提升推理探索与测试时扩展(如高 k 采样),适用于推荐 Agent 策略微调。
- 方法仅需极少参数(<1%)保存推理核心,有助于多领域推荐模型的知识合并与解耦,避免跨域灾难性遗忘。
- 无训练合并技巧可集成到多专家推荐系统,融合不同业务场景微调的模型,提升跨域泛化。
- 参数几何的频谱分析方法可迁移至推荐模型参数更新分析,诊断微调对模型泛化能力的影响。
PraMem:基于实践的经验记忆用于长程行为预测
🧭 长程行为预测·经验记忆演化 ★ 深度解读
中国科学院软件研究所 · 中国科学院大学 · 复旦大学 · 快手科技
将长历史序列化为练习样本,通过迭代试错构建可演化的模式经验与偏差警告,显著提升 LLM 长程行为预测准确性
📌 工作参考价值(4 点)
- 化负担为资源:把用户长行为序列当作带标签的实践样本,通过预测→反思→调整的闭环提炼经验。电商推荐中可用同样思路,利用历史行为数据持续优化用户画像,而不是只做一次离线建模。
- 双重经验结构:Pattern Experience 刻画用户偏好模式,Bias-alert Experience 显式警告模型容易犯的错误(如近因偏差、从众偏好)。在推荐系统的 prompt 或知识库中可引入类似的“纠偏模块”,让 LLM 在推理时主动避开已知偏见。
- 自审机制保证质量:通过扰动历史序列检验提议的 groundedness,生成虚拟场景检验 generalizability,过滤不可靠的经验修改。生成式用户画像或动态 prompt 优化中可以直接借鉴,防止模型拟合噪声或过拟合单一交互。
- 共识驱动更新稳健:由多个提议共同支持才修改记忆,避免偶然行为干扰。适用于实时更新用户状态的场景(如会话推荐、动态创意优化),可防止因单次异常交互导致画像漂移。
SkillFuzz:开放技能市场中技能组合的隐式意图模糊测试
🧭 Agent 技能组合安全测试 · 模糊测试
University of Liverpool · Mohamed bin Zayed University of Artificial Intelligence
通过合约引导的蒙特卡洛树搜索在无执行环境下模糊测试技能组合,发现隐式意图
📌 工作参考价值(4 点)
- 在电商/推荐多技能 Agent 系统中,可借鉴 skill contract 提取方式,将技能的自然语言描述结构化,用于自动检测技能组合时的意图漂移。
- 采用无执行环境的“规划工件 + 差异 oracle”测试方案,在技能上线前即可发现组合风险,避免线上推荐被重定向至非预期目标。
- 合约引导的 MCTS 搜索策略以极低的组合探索比例覆盖高风险空间,可应用于 Agent 编排器的安全约束生成,例如限制同时激活的技能对。
- 对隐式意图的分类与严重性判定方法,可迁移至电商对话 Agent 的质量保障流程,提前屏蔽“促销+比价”等技能组合导致的隐性推荐偏差。
SkillOpt-Lite:一行代码实现更优更快的 Agent 技能自我进化
🧭 代理技能自进化 · 零阶优化
LMMs-Lab · NTU MMLab · Microsoft
用零阶优化与三项原则将 Agent 技能优化精简为一行代码,提速收敛并让纳米模型超越大模型
📌 工作参考价值(4 点)
- 借鉴 SkillOpt-Lite 的最小管线思路,可把推荐系统的策略文档/提示工程当做可编辑代码,通过文件轨迹探索+共识挖掘自动化迭代,减少人工调参。
- 独立验证门控(independent validation gating)能作为推荐系统在线实验的安全网,自动拦截效果退化。
- 零阶优化对不可微的 LLM 推荐链路适用,可用于优化召回 query 生成或排序 prompt,无需访问模型内部梯度。
- 一行 vibe 命令集成进 VSCode 的哲学,可启发构建面向业务分析师或运营的“一键调优推荐策略”工具,降低门槛。
推理努力而非工具访问带来智能体代码生成的首次可靠性
🧭 Agent可靠性优化 · 推理努力大于工具
TrendAI
提升推理努力(xHigh)使首次完美运行率从28%跃至89%,而测试工具未提高功能得分
📌 工作参考价值(4 点)
- Agent能力设计权衡:电商推荐/对话Agent中,盲目增加工具(如查询商品库、检查价格)可能只增成本而无益于任务完成率,类似本研究中测试工具未提升功能评分。应优先提升核心推理能力(例如使用更强模型或增加推理步骤),再针对性补充工具。
- 成本控制与推理深度:将推理努力从High调至xHigh成本仅增9-29%,但效果提升显著。在线上Agent服务中,可考虑为高价值请求(如高客单价用户)分配更高推理预算,以提升一次性解决率,减少多轮交互成本。
- 故障根因分析驱动迭代:研究发现容器部署是主要失败模式(44%首次故障)。在开发推荐Agent时,应建立细粒度失败分析,找出高频失败点(如商品召回缺失、文案生硬),针对性优化而非泛泛增加工具或提示。
- 非功能需求分离处理:设计导向提示仅提升视觉质量,不影响功能。类似地,在生成推荐文案或物品标题时,可分离功能指令(准确性)与风格指令(吸引力),用轻量提示即可达到风格优化,避免干扰核心推荐逻辑。
Vidu S1:支持语音控制的实时交互视频生成模型
🧭 实时交互视频生成
Tsinghua University · Shengshu Technology
实现语音控制数字角色的无限时长实时视频生成,消费级GPU上540p/42 FPS
📌 工作参考价值(4 点)
- 对于电商数字人客服/直播场景,可借鉴语音实时驱动角色视频的思路,实现低延迟交互式导购
- TurboDiffusion/TurboServe 的加速方法可能迁移到推荐系统流量侧的实时推理优化,如降低特征抽取或排序模型延迟
- 支持用户上传自定义形象和音色,类似个性化推荐中“用户自定义偏好”的模式,可启发商品推荐中的个性化表达
- 整体属于视频生成领域,与搜索推荐的核心业务关联有限,但实时交互范式对构建Agent化购物助手有参考意义
WattGPU:预测未见GPU和LLM的推理功耗与延迟
🧭 推理能耗预测 · 机器学习系统
Universidad Politécnica de Madrid · Zurich University of Applied Sciences
仅用公开元数据与规格,无需硬件即可预测LLM在未见GPU上的推理功耗和延迟,泛化良好。
📌 工作参考价值(4 点)
- 在引入新GPU或新LLM时,可快速预估推理功耗与延迟,替代昂贵的手工profiling,辅助部署前硬件选型。
- 模型仅依赖公开的LLM参数表和GPU规格(如内存带宽、TDP),无需购置或租用设备,能大幅降低评估成本。
- 给出的中位绝对百分比误差在离线场景约3.4%,服务器场景约13.5%,虽非生产级精度,但GPU排序相关性高(Kendall τ≥0.76),适合做粗筛,识别表现突出的GPU型号。
- 仓库开源,可将自有的LLM与硬件数据加入扩展,为广告/推荐系统中Agent、查询改写等LLM服务做容量规划和性价比对比。
无需训练的语义概念定位抵御排版攻击
🧭 视觉语言模型鲁棒性 · 机制可解释性
University of Virginia
通过无训练机制解释定位并干预CLIP中偏重文本的注意力头,显著提升视觉模型抗排版攻击鲁棒性
📌 工作参考价值(4 点)
- 无训练的防御思路可直接复用到电商商品图片理解:商品图常叠加促销文字、logo 等,模型易被文字误导,借鉴本方法可通过定位并抑制视觉编码器中词汇偏置的注意力头,不改变模型参数提升对文字干扰的鲁棒性。
- 机制可解释性管线可成为多模态推荐系统的诊断工具:当视觉特征提取器在场景文本上表现异常时,可使用论文的采样归因方法快速定位问题 Circuit,指导针对性干预或微调策略的设计。
- 对 LVLM 的 VQA 抗攻击提升表明,该方法可增强对话式购物助手对用户上传含文字商品图的语义理解能力,避免因包装文字错误识别属性。
- 干预操作简单(仅调整少数注意力头的权重),工程成本低,可作为在线推理阶段的免训练后处理模块,适用于对延迟敏感的推荐系统。
学术文本 RAG 分块策略评估:聚类语义分块未优于固定/递归分块
🧭 RAG 分块策略对比评估
Deggendorf Institute of Technology
在结构化学术长文档上,聚类 semantic chunking 的检索与答案质量未能超越固定大小和递归分块
📌 工作参考价值(4 点)
- 在结构化文档(如商品详情、政策文件)的 RAG 场景中,优先使用固定大小或递归分块,避免为语义分块付出额外计算成本,本次实验未观察到增益。
- RAGAs 框架的 faithfulness 指标在评价长文档 RAG 时可靠性存疑,业务评估应结合人工校验或更稳定的自动指标(如 retrieval precision)。
- 针对固定问题(如摘要类)与文档特定问题(如细粒度事实)的性能差异显著,实际部署时需为不同问题类型设计不同的分块与检索策略,例如对细粒度问题保留更细粒度 chunk 或添加元数据。
- 文档预处理(格式清洗、结构提取)对性能影响较大,在导入向量库前可强化对标题、段落的语义保留处理。
自门控注意力:高效时间序列预测
🧭 高效注意力机制 · 时序预测
提出即插即用的自门控注意力,以线性复杂度维持预测性能,避免冗余注意力计算。
📌 工作参考价值(4 点)
- 在推荐系统的用户行为序列建模中,可直接替换标准自注意力,省略 query/key 投影,显著降低长序列的计算和内存开销,适合高并发在线推理。
- 共享注意力矩阵 + 轻量残差的设计,可应对行为序列中常见的重复模式(如周期性、固定套路),对电商场景的点击序列预测有直接迁移价值。
- 即插即用特性允许快速集成到现有 Transformer 推荐模型(如 SASRec、BERT4Rec)中,仅需微小改动即可获得推理加速。
- 在边缘设备或资源受限推理环境下,SGA 能保持竞争力性能,适合部署在移动端推荐、实时出价等延迟敏感系统。
AgenticDataBench:面向数据代理的多领域细粒度综合基准
🧭 数据代理评估基准
Tsinghua University · Ant Digital Technologies, Ant Group
覆盖15个垂直领域,基于细粒度技能定义实现数据代理的全面评估与任务生成
📌 工作参考价值(4 点)
- 借鉴技能分解思路,将推荐系统开发流程(如特征工程、模型选择、A/B测试)拆解为可复用的原子技能,用于设计模块化推荐Agent。
- 利用社区数据(如内部实验日志、技术文档)提取高频操作模式,构建面向推荐问题的诊断或调优数据集。
- 按技能覆盖度最大化来筛选任务集合,确保离线评估时覆盖更多真实场景,避免评估偏差。
- LLM合成任务的方法可迁移至推荐场景,用于生成低资源领域的训练数据或用户模拟查询。
AgenticSTS:面向长时程LLM Agent的有界内存测试床
🧭 Agent 有界内存与模块化评估
Alaya Lab · Shanghai Jiao Tong University · Shanghai Innovation Institute · Nankai University · University of Science and Technology of China
用类型化检索组装提示替代累积上下文,保持内存有界并支持单层消融分析
📌 工作参考价值(4 点)
- 长会话 Agent 的上下文管理:电商顾问或搜索助手等场景需要多轮交互,可借鉴“类型化检索组装”思路,将观察、工具结果、反思等分门别类存储,每次决策仅提取相关片段拼接成新提示,避免无限追加历史导致成本飙升与效果混杂。
- 模块化消融与迭代:在推荐对话系统中,可将知识库、用户画像、对话状态等作为独立内存层,通过切换检索策略快速验证各自贡献,类似论文中对技能层的消融实验,指导架构演进。
- 工程稳定性:有界提示保证每次推理的 token 数恒定,利于延迟控制和预算管理,避免长上下文带来的 KV cache 膨胀和推理速度抖动。
- 可复现的评估方法:论文提供的轨迹数据和实验脚本,可作为构建面向推荐/搜索 Agent 的评测框架参考,尤其适合需要数百步决策的复杂场景(如比价助手、旅行规划 Agent)。