GUT:基于图复杂度量化与优化 LLM 推理不确定性
🧭 LLM 推理不确定性量化与优化
National Key Laboratory for Novel Software Technology, Nanjing University · School of Intelligent Science and Technology, Nanjing University
用有向无环图表征推理分支,以图复杂度量化推理不确定性并通过强化学习降低不确定性。
📌 工作参考价值(4 点)
- 在 Agent 多步规划或推理场景中,对同一输入采样多条推理链构建 DAG,用图复杂度(节点/边/分支比)作为不确定性分数,可触发重试、请求用户澄清或降低自动决策阈值。
- 将“负不确定性”作为奖励信号加入 RLHF/DPO 等优化流程,能训练模型生成更聚焦、更少发散的推理路径,适用于需要稳定输出的推荐解释、搜索 query 改写等场景。
- 图结构相比单链采样更能捕获分支覆盖,可作为在线评估指标,监控生成式推荐/Agent 的推理稳定性,及时发现漂移。
- 该方法属于通用推理层优化,不依赖具体业务数据,但落地时需重新定义领域图结构与复杂度度量。
基于库存证据的策略级优化:面向动态库存 AI 搜索的训练无关方法
🧭 AI 搜索 · 训练无关策略优化 ★ 深度解读
Huawei Technologies Co., Ltd., China
训练无关地把动态库存证据与可复用决策指南解耦,提升 AI 搜索 CTR 并减少坏例
📌 工作参考价值(4 点)
- 把策略规则与库存事实分离:不要往 prompt 里写具体 item/类目是否存在,而是写成条件化、可执行的 Guideline,运行时注入 inventory portrait;库存变动时不必频繁改 prompt 或重训。
- 用离线 stochastic rollouts + LLM Judge 分组:同 query 同时有成功/失败轨迹才形成对比样本;全失败组用 inventory-guided exploration 主动回查漏召回路由,避免把“无库存”误判为“策略差”。可迁移到电商搜索 bad case 聚类与策略补丁生成。
- 上线前做回放回归门控:每个候选 Patch 必须在 Target queries 和 Background/fixed regression set 上通过胜率、Precision/Recall/F1 drop 阈值;组合时逐个加入并全量回放,可控制 prompt/规则更新的回归风险。
- 轻量服务化:Guideline store ≤100,每阶段最多注入 3 条、平均 1.7 条,prompt 增量平均 247 tokens,latency p50 仅 +49ms;适合作为电商 AI 搜索/导购 Agent 的策略层。
基于树结构的 RAG 框架:自适应规划与拓扑感知证据收集用于证据密集型 QA
🧭 RAG 结构化推理 · 自适应证据收集
Korea University · Hanyang University · Hyundai Motor Company
提出 APT-RAG,通过自适应规划扩展推理树和拓扑感知证据收集,提升证据密集型问答性能。
📌 工作参考价值(4 点)
- 在复杂查询或商品长尾问答场景中,用树结构动态分解任务并自适应扩展节点,比固定多步流水线更能应对证据分散的需求,可借鉴其节点扩展策略。
- 利用推理树拓扑关系(兄弟节点证据共享、子节点证据聚合)减少重复检索、提升证据覆盖,适用于多文档、跨类目信息整合的推荐解释或客服问答。
- 证据引导的批量答案生成(evidence-guided batched answer generation)可以降低 LLM 推理次数与成本,在高并发搜索或推荐场景中可尝试将多个子问题合并生成。
- 该框架强调证据需求驱动规划,可作为电商 Agent 在商品对比、规则解释等需要多跳信息收集时的设计参考。
结构化辩论混合多智能体框架用于复杂临床诊断决策支持
🧭 多智能体结构化辩论诊断
College of Computer Science, Sichuan University · West China Hospital, Sichuan University
提出DMoA结构化辩论混合多智能体框架,提升复杂诊断准确率与安全率超10个百分点
📌 工作参考价值(4 点)
- 结构化角色分工和辩论流程比单纯堆模型或拼接输出更有效,可用于电商搜索/推荐的 query 改写、商品推荐理由生成等场景,设计“生成-质疑-汇总”的 agent 链提升输出质量。
- 借鉴 4×2 的 MoA 结构:4 个提案 agent + 2 个评审/聚合 agent,在 token 预算允许时能稳定提升最终结果;业务落地时可先用小规模消融找到性价比最优的结构。
- 在最终输出前加入安全/合规评审 agent 进行辩论,可显著降低风险输出,适用于广告审核、违禁词过滤、客服应答等敏感场景。
- 提升并非来自更长输出或更多模型,说明结构化流程比增加推理长度更划算,Agent 系统设计应优先优化辩论/聚合逻辑而非盲目增加 token。
可测量滑块:从可微图像测量学习连续控制
🧭 扩散模型可控生成 · 可微测量
School of Computer Science, The University of Sydney
提出Measured Sliders框架,用可微图像测量定义并学习连续图像属性控制,实现有序、选择性和可组合
📌 工作参考价值(4 点)
- 可微图像测量作为监督信号,替代文本或学习表示来定义控制轴,让生成结果的属性变化与量化指标直接对齐。在电商商品图生成或广告创意生成中,可将亮度、饱和度、色温、构图等属性定义为可微函数,训练可控LoRA。
- 可观测性测试在训练前筛选可学习属性,避免对不可控维度浪费训练资源。推荐系统或生成式推荐中可借鉴:先验证目标属性在隐空间/特征空间能否被可靠观测和优化,再投入训练。
- 多个LoRA分支存储同一checkpoint,推理时免训练组合,不依赖联合激活。可复用到多属性可控生成场景,减少多任务训练成本,且组合时保持各方向独立性,类似推荐中的多目标解耦。
- 训练后校准到实际图像变化单位,使不同控制强度可比,便于产品侧设定语义化滑块范围(如亮度+10%),提升用户体验和可控性。
利用低层符号能力进行无监督扎根的幻觉检测
🧭 神经符号方法,SQL 落地检测幻觉
Heinrich Heine University Düsseldorf, Germany
让 LLM 用 SQL 构建参考文档数据库,以神经符号方式无监督检测生成响应中的幻觉,无需领域微调
📌 工作参考价值(4 点)
- 在电商/广告生成式推荐中,可将商品知识库、广告素材或用户评价等参考文档预先转换为 SQL 表,然后用 SQL 查询校验 LLM 生成的推荐理由、商品描述或客服回答是否忠于原文,低成本的线上幻觉检测无需标注数据。
- 利用 LLM 的低层符号能力(SQL/JSON 查询)作为 grounding 工具,比直接让 LLM 判断幻觉更可解释、稳定,且不依赖领域微调,适合快速迁移到不同商品类目。
- 神经符号 pipeline 可拆分为「文档→SQL 数据库构建」和「基于 SQL 的声明验证」两步,工程上可以并行或缓存数据库,适用于实时校验。
- 适合对事实一致性要求高的场景,如生成商品参数、价格、促销信息等,可避免编造属性导致的客诉或合规风险。
聊天机器人回复风格如何塑造课堂:学生咨询 AI 的多智能体模拟
🧭 多智能体仿真 · AI 依赖心理效应
Faculty of Informatics, Matsuyama University
用 20 学生代理仿真六种 AI 回复风格,发现解决方案导向风格低 AI 依赖并提升自主性,肯定与煽动风格增加依赖与压力
📌 工作参考价值(3 点)
- 多智能体仿真可迁移到用户与导购/推荐 Agent 长期交互评估:定义用户状态变量(如信任、自主性、AI 依赖),模拟不同回复策略在时间窗内的累积效应,尤其适合识别过度迎合带来的依赖风险。
- 双 LLM 评估模式实用:一个 LLM 按风格生成回复,另一个屏蔽风格提示、仅根据对话与状态历史输出参数更新,可作为低成本离线策略评估器,减少人工标注脚本。
- 结果提示:过度共情/肯定的回复风格(类似推荐解释中一味迎合点击偏好)会推高用户 AI 依赖;解决方案导向风格能平衡满意度与自主性。在电商导购 Agent 或智能客服中,可主动加入“提供解决步骤而非单纯安慰”的 prompt 设计。
mHC 如何利用残差流:选择性路由与近恒等混合
🧭 多流残差架构机制分析
Huawei Technologies Co., Ltd.
揭示 DeepSeek-V4-Flash 四流 mHC 路由集中、晚期混合近恒等,稀疏化与恒等替换几乎不损性能
📌 工作参考价值(4 点)
- 若团队在推荐/搜索/Agent 中采用或预研 Hyper-Connections/mHC 等多流残差 LLM,可直接尝试“逐 token 保留 top-3 路由权重”做稀疏化推理:在 DeepSeek-V4-Flash 上 PPL 最多上升 2.7%,平均分变化 ≤0.4 分,延迟/显存可降,适合线上排序或生成式推荐的低延迟约束。
- 对深层(22-42)多流混合器,可考虑替换为恒等或单流结构,C4 PPL 仅 +1.9% 且六任务平均分不变;可用于模型压缩、蒸馏学生模型或减少多流通信,尤其适合广告/电商场景中需要轻量部署的 LLM。
- 早期混合器的“站点结构”比 token 级动态更重要(固定到诊断均值 PPL +0.2%、平均分 -0.25pp),意味着在量化、缓存或离线计算中,可对早期混合器按层预计算固定权重,减少在线 token-wise 计算。
- 注意:该结论来自 DeepSeek-V4-Flash 单一模型,迁移前应先在自己的模型上做 effective stream counts 与 cosine 诊断;若未使用多流残差架构,可借鉴的分析方法较有限,主要是模型冗余与路由稀疏化的诊断思路。
面向韩国开放公共 API 的多步工具调用基准与数据合成
🧭 Agent 工具调用 · 执行验证数据合成
LG CNS
执行验证动态图合成多步工具调用数据,9B 模型经 GRPO 微调接近 27B
📌 工作参考价值(4 点)
- 构建多步 tool-calling 训练数据时,用真实 API 执行验证 schema 间的参数传递链(output→input),只保留实际跑通的边,可避免合成不可执行轨迹;电商/搜索 Agent 接内部商品、订单、营销 API 也能复用这一 graph 验证思路。
- 将工具流建模为动态执行图,节点是工具/参数,边是数据依赖;可把常用 API 组合沉淀成可遍历子图,自动扩展长尾 multi-step 任务,适合 query-商品-优惠券-物流等串行调用场景。
- 用 GRPO 在合成轨迹上做 RL 微调,小模型 9B 可逼近大 27B untuned;预算受限的本地化 Agent 可优先考虑 execution-grounded 合成 + RFT/GRPO,而不是盲目换大模型。
- 评估时增加真实 API 调用成功率/轨迹可执行率,而不只看格式正确率;对推荐 Agent 的 task completion 指标设计有参考。
面向文学知识处理的神经符号时空 GraphRAG 框架
🧭 神经符号时空 GraphRAG 与可验证 QA
Joint Laboratory for Port Big Data and Intelligent Applications, Dalian Ocean University
提出整合时空约束与动态子图检索的 NS-ST-GraphRAG,并发布红楼梦多跳 QA 基准
📌 工作参考价值(4 点)
- 按查询时空范围选择有效图状态:电商/推荐场景中,商品属性、价格、库存、活动规则都有明确时效;可以借鉴论文思路,按时间戳/空间/场景对知识图谱做切片,检索时动态加载匹配版本,避免 RAG 返回过期或冲突信息。
- 本体引导抽取 + 确定性约束检查:在商品知识、活动规则、导购问答等场景,先定义轻量本体(类目、属性、关系、时效),用 LLM 抽取实体关系后,再用规则校验时间范围、数值区间、空间限制等硬约束,降低生成幻觉;适合构建可解释的导购 Agent 或政策问答。
- 可审计的多跳评估方法:论文的机械答案复现、引用忠实度检查、每部分证据跨度设计,可以迁移到内部知识问答或推荐解释评估中;建议对关键业务 QA 采用“规则校验答案 + 独立语义判断”双轨,而不是只依赖 LLM 主观打分。
- 警惕过度设计:实验显示时空 GraphRAG 相比简单窗口基线只有方向性优势但统计不显著;业务上应先用严格 AB 和统计检验验证复杂架构的必要性,避免为了图而图。
MIVAIS:多智能体混合主动式可视分析研究环境
🧭 多智能体混合主动可视分析平台
ETH Zürich, Switzerland
提出MIVAIS双层平台,标准化多智能体状态同步与通信,并自动记录多模态人机协作溯源数据
📌 工作参考价值(3 点)
- 借鉴其集中式 World State + Agent Registry + Communication Channels 架构,将多智能体推荐/搜索系统中的状态同步从各服务私有化改为共享“世界状态”,降低 agent 开发与联调成本;特别是加入 Permission Guard 可统一控制人机协作中 agent 的写权限,适合电商导购/客服等半自主场景。
- 采用声明式实验配置(YAML 定义任务、角色、数据采集)与自动多模态溯源(应用状态、屏幕录制、音频、传感器)建设 Agent 系统的用户研究/在线评估闭环,避免为每次实验重复埋点。
- 其自动回放与交互时间线可用于事后分析用户与推荐/搜索 agent 的协作过程,定位“用户在何时拒绝或修正 agent 建议”的序列模式,对优化生成式推荐交互有直接参考价值。
MURAL:基于自适应边学习的多模态不确定性感知推荐
🧭 多模态推荐 · 动态图与不确定性融合
American University · Ulsan National Institute of Science and Technology · Michigan State University
用动态自适应边学习和不确定性感知融合,解决多模态推荐静态图与噪声融合瓶颈
📌 工作参考价值(4 点)
- 动态边学习替代静态 item-item 相似图:推荐系统里用可微检索 + ANN 实时构建 item 图,能跟随用户行为变化,O(N log N) 复杂度适合大规模商品库。
- 不确定性感知多模态融合:对商品标题、图片、视频等模态建模 aleatoric uncertainty,动态降低噪声模态权重,在 UGC 素材质量参差时提升稳定性。
- Teacher-student 对齐到行为信号:将多模态表征蒸馏到协同过滤表征,用点击/购买等行为 anchor 做对比学习,避免模态噪声破坏协同信号。
- 鲁棒性与可解释性:在数据缺失/损坏场景下有效;通过模态权重可解释垂直域依赖,如时尚重图、电子重文本,便于业务沉淀特征优先级。
评估LLM解释的必要性与充分性:基于行为证据
🧭 LLM解释可靠性评估 · 黑盒干预
BNY
用黑盒干预度量LLM解释因子的必要性与充分性,发现Top-3因子与行为影响仅中等相关且漏报明显
📌 工作参考价值(4 点)
- 对带解释的LLM推荐/决策组件不要直接信任其cited factors:落地前用离线黑盒干预抽检,分别计算必要性(改因子输出变)和充分性(只留因子输出不变),用Spearman相关与未引用因子超越率做健康度指标。
- 在Agent oversight或风险提示场景,可把这类行为证据测试做成回归评估:每次prompt或模型版本更新后跑一批case,若Top-3因子与实际影响相关性明显下降,说明解释质量漂移,需触发人工审查。
- 电商推荐/广告中若用LLM生成“为什么推荐该商品/广告”的解释,可借鉴充分性分数筛选真正稳定的因子;充分性高的因子更适合作为后续规则、动态定价或供给控制的依据,而不是直接相信模型口述的原因。
- 模型给出的Top-3因子漏报率较高(advisor场景约58%),因此除Top-3外应保留更多候选因子并通过干预分数排序,再决定哪些进入监控或诊断面板。
PRICE:比特币价格预测中 LLM 适配选择的系统研究
🧭 LLM 时间序列预测 · 适配策略
Isfahan University of Technology
系统验证 LoRA、递归推理、整数表示、CTF 提示与零温度解码如何提升 LLM 比特币价格预测精度与稳健性
📌 工作参考价值(4 点)
- 低资源数值预测可直接复用:4-bit 量化 LLM + LoRA 在有限硬件上可重训,适合电商销量/GMV/出价等频繁更新的数值预测,不必上大参数全量微调。
- 连续值取整是一种简单有效的表示 trick:用整数代表价格、销量、金额等,可降低回归误差和 token 空间,业务上可先做分箱/取整再训练。
- 多步预测用递归推理而非一次性输出,配合 temperature=0 解码,能显著提升多步预测稳定性和误差;广告消耗、库存曲线预测可借鉴。
- CTF 提示固定 Context/Task/Format 结构优于 CoT/few-shot,且微调后仍有效;在构建 LLM 预测/排序任务 prompt 时优先设计统一结构,而不是依赖复杂推理提示。
嵌入手术:稠密检索中自适应排序纠正的局部化更新
🧭 稠密检索 · 排序纠正 · 向量索引更新 ★ 深度解读
IIT-CNR · Seltz · ISTI-CNR
提出嵌入手术,在查询时对文档嵌入做最小凸优化更新,以满足排序偏好约束,无需重训或重建索引
📌 工作参考价值(4 点)
- 在推荐/广告向量召回中,针对 badcase、编辑干预(提权、打压、合规)无需重训或重建索引:对召回 top-k 的 item embedding 解一个小规模 QP,约束可来自人工规则、点击/转化信号或 LLM 评估;更新仅限参与 pair 的 item,保持全局空间不变。
- 利用反事实点击偏好作为约束:第 i 位点击 > 第 i-1 位未点,立即触发局部更新;即使点击有噪声也稳定,近随机点击不导致显著退化,适合在线反馈闭环。
- ANN 工程:小幅度 embedding 更新可直接原地覆盖 HNSW/IVF,无需改图边或重建索引;实验显示 185k 向量覆盖后 DL 指标无显著变化,IVF 仅 0.38% 向量跨簇,可支撑实时修正层。
- 与 query 侧自适应(如 CoRocchio)组合用;文档侧对噪声更鲁棒且能传播到语义相关 query,query 侧在可靠反馈下更强,组合在良好反馈下最高。