因果思维链:通过上下文隔离缓解注意力泄漏
🧭 因果推理 · 上下文隔离 CoT
Università della Svizzera Italiana · ETH Zurich · University of Oxford
提出 CausalCoT 推理框架,将问题拆成 DAG 原子子问题并在隔离上下文中求解,提升因果敏感度与解释忠实度
📌 工作参考价值(4 点)
- 在电商推荐/广告的 LLM 解释生成或 Agent 多步决策中,可借鉴 DAG 分解:把复杂任务拆成原子子问题,每个节点只喂直接依赖的上下文,降低无关信息通过注意力污染推理路径的风险。
- 对于多步 query 改写、选品推理等场景,用隔离上下文能减少模型“直接查答案再补理由”的虚假解释,使中间步骤对局部输入更敏感,便于定位错误节点。
- 可复用 test-time intervention 机制:线上发现某个推理节点输出错误时,只需修正该节点即可按依赖图向下游传播,无需重新生成整条推理链,利于实时策略调整。
- 架构上可采用结构化依赖图作为推理骨架,与现有 CoT 或 ReAct 类流程兼容,额外成本主要在子问题拆解和上下文裁剪,适合对可信度和可审计性要求高的推荐解释或风控审核逻辑。
MolLean:化学推理的过程可验证语言
🧭 LLM 推理 · 可验证工具接口
National University of Singapore
MolLean 将化学 CoT 转为可执行状态转换,通过分层检查和 MCP 逐步验证减少幻觉并提升推理
📌 工作参考价值(4 点)
- 用可执行 trace 替代自由文本 CoT:在电商/广告场景中,可为商品属性生成、推荐理由、促销文案等定义领域约束(类目、价格、库存、合规规则),让 LLM 输出可检查的状态转换,而非仅靠 prompt 约束。
- 有状态工具接口与拒绝不变原则:类似 MolLean-MCP 的设计可迁移到 Agent 工具调用,工具校验失败时不修改状态,避免错误动作污染后续上下文,对搜索 query 改写、组合优惠计算等多步交互尤其有用。
- 全过程细化 + 分步验证反馈:先让模型生成完整 trace 再整体修正,适合离线批量生成;对实时要求高、状态约束严的任务,可引入逐步验证反馈,在反应类/多步推理任务中往往能获得额外提升。
- typed witness protocol 分离原生结构检查与外部测量:可借鉴为区分数据库已有事实与模型生成内容,防止模型把未经验证的属性当成事实写入推荐理由或广告文案。
OmniSeek:面向多轮音视频推理的原生工具集成
🧭 Agent 多轮音视频推理与工具检索
University of California, Davis · Adobe Research
将 Omni-LLM 变为主动多轮推理 Agent,动态检索关键音视频片段以支撑跨模态长上下文推理
📌 工作参考价值(4 点)
- 多模态长视频/直播/商品讲解等场景,别让模型一次吞下整个序列;可以借鉴 OmniSeek 的做法,让 Agent 先粗略定位,再调用工具按时间窗口取回关键音频或视觉片段追加到上下文,既省计算又能保持细节证据。
- 数据冷启动可复用“合成多跳 CoT 轨迹 + SFT + 两阶段 RL”路线:先造带交错的证据检索轨迹让模型学会多轮工具调用,再用可验证奖励做策略优化,适合业务中缺乏真实交互标注的场景。
- Audio-Visual Necessity 奖励是防止多模态捷径的有效 trick:在训练目标里显式惩罚只依赖单一模态的成功轨迹,可迁移到电商多模态模型,避免模型只抄文本或只靠图片就能答题。
- 工具返回原始音视频片段而不是高层特征,能保留稀疏关键证据,类似多模态 RAG;在直播切片问答、广告素材审核、智能客服等场景可以直接套用这种“检索-追加-再推理”的循环。
MG-Thinker:多图像推理定位的双轴自反思框架
🧭 多模态推理定位 · RL 后训练
Huazhong University of Science and Technology · Tsinghua University
提出MG-Thinker后训练RL框架,通过层次化推理与双轴优势分解提升多图像推理定位性能
📌 工作参考价值(4 点)
- BiA-DAPO 优势分解可借鉴到多任务/多场景推荐 RL 训练:将 rollout 优势沿组内信号轴和组间能力轴分解,能缓解不同任务难度、不同用户群体样本分布异质带来的优势估计偏差,适合电商推荐中不同品类、不同活跃度用户的差异化建模。
- 任务自适应 CoT 可迁移到 Agent 规划与复杂查询理解:根据任务难度动态调整思维链粒度——简单 query 直接生成、复杂 query 多步推理,能节省 token 并提升推理效率,可用于搜索广告中的 query 改写或商品推荐理由生成。
- 候选池稳定组级统计的方法值得工程实现借鉴:在 RL 训练中维护候选池以获得稳定的组级统计量,可迁移到推荐模型的在线学习或 A/B 测试分桶中,减少小样本波动对策略更新的影响。
- 层次化推理范式可复用于多模态商品理解:从粗到细定位(先全局场景后局部细节)的思路,适合电商中多角度商品图、视频帧的细粒度视觉定位任务,如自动识别商品瑕疵或关键属性区域。
让LLM说出它们所想:测量与改进思维链-可解释性对齐
🧭 LLM推理可解释性对齐与后训练
New York University · NYU Shanghai
提出CIA度量并后训练联合优化任务精度与参数忠实度,提升LLM思维链与内部计算一致性
📌 工作参考价值(4 点)
- 在电商/广告中若使用LLM生成推荐理由、商品对比或竞价策略解释,可借鉴CIA思路:用线性探针或干预实验验证模型声称的决策依据是否真的体现在内部表征中,避免“编理由”导致合规与信任风险。
- 将“解释与内部决策信号一致性”加入奖励函数(例如对内部探针判断关键token或特征重要性与CoT声称的一致性打分),与任务准确率联合优化,可能在不牺牲效果的情况下提升解释可信度。
- 建立CoT忠实度审计机制:定期对线上Agent/推荐解释链路抽样,用可解释性工具计算CIA分数,监控模型版本更新或数据漂移后推理行为是否失真,尤其适用于需要审计的广告排序和价格推荐场景。
- 注意落地成本:需要额外训练探针或标注内部策略,适合高风险、强监管或需向用户出具理由的场景;中小业务可先复用开源度量工具做离线评估。
能干但简约:提取并刻画前沿模型隐藏的思维链
🧭 LLM 隐藏思维链提取与推理结构刻画
Department of Computer Science, Aalborg University · Department of Electronic Systems, Aalborg University · Seafill
通过标准 API 注册自定义工具诱导闭源模型外化中间推理,发现提取推理匹配原生 CoT 且 Astra 拥有 token 高效的有向推理
📌 工作参考价值(4 点)
- 在 Agent 或推荐链路中用闭源 LLM 且需审计中间决策时,可通过标准 API 注册一个轻量自定义工具(如 think(step))诱导模型外化推理;先在开源模型上对照原生 CoT 验证外部化痕迹性能一致,避免只得到事后合理化。
- 评估 query 推荐、文案生成、排序解释等 LLM 任务时,除最终准确率外引入 token 效率、推理步骤类型、推理树等指标:关注模型是否提前锁定正确轨迹、把简单步骤内化,从而选择更适合线上、成本更低的模型。
- 多 Agent 或生成式推荐 pipeline 中对中间推理做结构化记录,用于错误归因和可追溯性,防止正确答案来自错误推理;高风险策略如营销文案、价格解释尤其适用。
- 不要用 trace 长度作为推理质量代理:更强模型可能话少但关键,应关注有效推理步骤密度和正确轨迹选择早晚。
X-Planner:面向具身智能的事件结构化任务规划
🧭 具身智能任务规划 · VLA 规划前端
X Square Robot Team
为 VLA 引入事件结构化规划前端,联合离散事件状态与潜在 CoT 状态,用阶梯解码和冻结重建提升长程规划质量
📌 工作参考价值(4 点)
- 事件结构化规划拆成「可解释离散事件状态 + 连续潜在 CoT 状态」双接口,可迁移到电商 Agent 的长流程任务:让 LLM 输出可读子目标序列,同时保留 latent 状态跨层传递,兼顾审计与推理深度。
- 用冻结的 latent-to-text 重建目标作为语义锚点,适合在业务中给隐状态加约束,避免端到端训练后 latent 漂移,尤其适用于没有大量标注的推荐/搜索 Agent 规划数据。
- 利用接管时间(takeover time)和人工注入失败样本训练持续错误识别,可借鉴到交互式推荐或对话 Agent:把用户中断/纠正日志作为弱监督,训练模型提前识别错误。
- 离线评估采用两步法:先评规划文本质量(BERTScore/LLM judge),再测下游执行;业务中可把「规划质量」与「最终业务指标」解耦,缩短迭代周期。
A*-Thought-V2:基于 LLM 几何动力学的高效隐式推理
🧭 LLM 推理加速 · 隐式 CoT 压缩
Beijing University of Posts and Telecommunications · The Hong Kong Polytechnic University · Tsinghua University · JIUTIAN Research · OpenBMB
用 hidden state 几何方向判断 CoT 步骤价值,对齐步骤显式保留、偏离步骤压缩为 latent token,提升精度与效率
📌 工作参考价值(4 点)
- 在电商/Agent 的 LLM 推理链路中,可借鉴「几何对齐」做步骤级压缩:对商品推荐理由、query 改写、广告文案生成的 CoT,计算当前 step 到最终 answer 的 hidden state 夹角,保留小角度的直接执行步骤,把大角度的探索/校验步骤压缩为 latent token,降低 context 与 KV cache 占用。
- 训练侧可用 stepwise embedding forcing + label forcing:压缩冗余步骤时不丢弃信息,池化为单 embedding 并用 soft token distribution 监督,这比 hard truncation 更适合推荐/搜索中的行为序列、商品描述等中间信息压缩,能保留分布与多峰语义。
- 若业务要处理大规模 query/商品推理流水线,A*-Thought-V2 报告的训练成本下降(预处理 -94.6%、训练 -80.3%)和 Accuracy per Computation Unit 2.29x 可作为 ROI 参考;但需在 Qwen3.5/3.6 这类模型上复现验证,小模型或非推理任务迁移前要做适配。
- 表示分析结论:latent token 位置熵更高,soft target 提供更丰富特征学习——在生成式推荐里对 Semantic ID 或 item 描述序列做压缩时,可考虑不强制 hard one-hot,而保留软分布以 capture 多义性。
可读性不等同于可解释性:比较 CoT 推理中判断重要性与实际重要性
🧭 CoT 推理步骤重要性的可解释性评估
ETH Zürich · MIT · Cohere
实证表明 CoT 步骤文本只部分编码其功能重要性,LLM judge 与微调 critic 识别高优势步骤能力远低于噪声上限。
📌 工作参考价值(4 点)
- 在电商/Agent 场景中用 LLM 评判推理步骤或生成过程(如诊断错误、提供中间奖励)时,要警惕文本看起来合理但实际未必对应功能重要性:文本可读性不等于可解释性。
- 过程奖励模型(PRM)在正确响应上识别关键步骤能力有限,建议不要仅依赖 PRM 做细粒度信号,可结合蒙特卡洛 rollout 估计的 advantage 作为更可靠的地面真值。
- 如果需要训练步骤级 critic,注意其对错误样本提升明显,但对正确样本效果欠佳;可考虑将 critic 用于纠错或筛选而非全面解释。
- 在生成式推荐或 Agent 流水线中,对中间步骤做剪枝或加权时,基于文本判断的权重可能不可靠,需要验证“看起来关键”的步骤是否真的影响最终结果。
超越极化:逐点重排序中思维链的生成式约束
🧭 CoT 推理在逐点重排序中的生成式瓶颈
University of Chinese Academy of Sciences · Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences · Tencent
实证表明 CoT 在逐点重排序中的性能差距跨尺度稳定且训练干预难以消除,根因是离散文本生成限制连续相关性信号
📌 工作参考价值(4 点)
- 在电商搜索/推荐排序中,若用 LLM 做 pointwise 打分(query-item 相关性),应优先选择直接输出数值的评分头,避免让模型先输出 CoT 再打分;CoT 的离散 token 生成会降低排序信号分辨率,导致分数极化和校准偏差。
- 论文证明即使通过 RL、细粒度监督、结构解耦等干预,相对排序 gap 依然存在,说明该瓶颈是范式层面的,不是数据或模型容量问题;业务中不要期望通过调优 CoT 模型达到与直接打分模型相同的排序性能,更务实的方案是改用 listwise/pairwise 方法,或将 CoT 用于 query 理解、解释生成等非排序环节。
- 如果需要可解释推荐理由,建议两阶段:先用直接打分模型完成排序,再用独立的解释生成模型基于已排序结果生成理由,避免 CoT 介入排序决策。
- 设计生成式排序模型时,应尽量避免强制文本推理,可考虑连续表示或隐式推理机制,以减少信息损失。
记忆增强解锁高效思维链推理
🧭 LLM 推理加速 × 记忆增强压缩
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · Baidu Inc. · Tencent Inc.
提出训练无关的记忆增强压缩框架,用历史推理模式作为预填充支架补偿思维链压缩的信息损失
📌 工作参考价值(4 点)
- 在电商/推荐场景中,若用 LLM 做复杂推理(如商品属性抽取、多步排序、用户意图理解),可将完整 CoT 改为 Chain-of-Draft 风格短推理链降低延迟;同时构建可检索的“推理记忆库”,从历史正确推理中总结关键约束、公式和操作序列,作为 prompt 前缀注入,补偿压缩带来的准确率损失,无需训练,直接可用。
- 记忆的生成与使用可以借鉴 RAG 架构:将历史推理轨迹离线总结为结构化短记忆(如规则、公式片段)并建索引,线上根据问题检索最相关记忆,加入 system 或 prefix;注意实验表明增益来自记忆相关性,单纯拼接长上下文无效,所以向量相似度和相关性过滤要重点设计。
- 对推荐系统中的 query 改写、排序解释、广告文案生成等需要推理但追求低延迟的任务,可以采用“压缩+记忆”的组合:短输出 + 预填充的关键决策因子,达到速度与效果平衡,特别是线上高 QPS 场景。
- 该方法训练无关,兼容 token 级、推理轨迹级、推理状态级压缩,可作为现有 LLM 推理加速方案的轻量插件,适合快速验证对业务指标的影响。
VA-Judger:面向联合视频音频生成的人类偏好反馈奖励建模
🧭 多模态生成奖励建模 · 视频音频对齐
Fudan University · Shanghai Innovation Institution · Yinwang Intelligent Technology Co., Ltd
构建10K人类偏好数据集与评测基准,提出链式思考全模态奖励模型VA-Judger,通过分维度强化学习对齐人类偏好
📌 工作参考价值(4 点)
- 多模态生成评估中,单一标量奖励容易被 hack,可将评分分解为 prompt match、audio-visual consistency、audio quality、video quality、completeness 等维度,分别评分加总,使奖励更密集、可解释,也便于定位生成缺陷;类似电商广告视频生成可定义画面-文案一致性、卖点覆盖、音画同步等维度。
- 构建小规模人类偏好对比数据时,先让模型在明显差距样本上学习结构化输出,再用拒绝采样对难分样本蒸馏解释,降低人工标注成本;可用于业务中快速训练创意评估模型。
- 奖励模型后训练可采用 dimension-wise RL,把二元偏好分解到各维度,提供更密集训练信号,比只优化全局偏好更稳定;在广告创意 A/B 测试中可对应分维度打分作为辅助 reward shaping。
- CoT 让奖励模型输出各维分数和推理过程,便于线上审计和错误分析,但会增加推理延迟,业务中可在离线评估或数据标注环节使用,在线打分可只取结构化分数。
基于模型合并的推荐系统慢思考推理高效压缩
🧭 LLM推荐系统推理压缩 · 模型合并 ★ 深度解读
The University of Queensland · Griffith University
首次将模型合并用于慢思考推荐系统的推理压缩,在注意力头粒度选择性注入简洁行为,缩短推理长度最高24.3%且保持准确率
📌 工作参考价值(4 点)
- 可以通过模型合并,在无需重新训练的情况下压缩慢思考推荐模型的冗长推理链,降低线上推理延迟和成本。
- 合并时以注意力头为单位,依据检索关键性、决策忠实度和参数更新敏感度分配合并系数,保护关键推理头,避免精度损失。
- 对于电商/广告推荐中需要复杂用户偏好推理的场景,可以先训练慢思考模型获得高准确率,再通过REAM压缩推理长度,平衡效果与效率。
- 工程实现仅需少量校准数据(如500条)计算头级信号,无需额外梯度更新,可快速部署。
从失败中学习:检索中心化思维链与难负样本驱动的统一多模态检索
🧭 多模态检索 · 检索中心化思维链
Glint Lab
提出UniME-R1,基于检索反馈生成思维链纠正嵌入器混淆,借助难负样本与强化学习提升检索
📌 工作参考价值(4 点)
- 检索反馈驱动的思维链:在推荐重排序阶段,可对初始召回结果生成解释性推理文本,放大易混淆 item 的细微差异,用于 query 改写或特征增强。
- 难负样本挖掘策略:有效模拟线上召回失败 case,尤其适用于构建对抗训练集,提升模型对相似商品/视频的判别力。
- 双模式嵌入器设计:直接检索与 CoT 增强检索双路并行,可在精排场景中作为混合表示,或用于多阶段漏斗中粗精排衔接。
- 检索导向强化学习:将对齐奖励直接定义在检索指标上,可迁移至推荐场景中,优化生成式推荐模型的最终曝光收益而非中间 token 似然。
链式递归语言模型实现多轮推理
🧭 多步推理 · 新鲜推理链架构
University of Maryland
将长上下文推理拆成多轮新鲜调用,通过摘要与黑板传递状态,避免错误累积
📌 工作参考价值(3 点)
- 在电商对话Agent中,将复杂查询(如多条件筛选+排序)拆成子任务,每个子任务独立调用LLM,用黑板共享中间结果,对抗长上下文遗忘
- 商品知识图谱多跳推理(如“同等价位好评率最高品牌”)可采用新鲜推理根,每步仅关注相关子图,阻断错误传播
- 推荐解释生成需融合多源信息,可引入可检查可修正的中间产物机制(如结构化摘要),提升解释准确性与可调试性
See2Think:衡量多模态模型是否真正利用了中间视觉状态
🧭 多模态推理过程诊断与评估
Shanghai AI Laboratory · The Hong Kong University of Science and Technology · Central South University · The Hong Kong University of Science and Technology (Guangzhou) · University of Science and Technology of China
构建统一评估框架See2Think,诊断多模态推理中中间视觉状态的生成、渲染与利用瓶颈
📌 工作参考价值(4 点)
- 在电商搜索、推荐解释或商品问答的Agent流程中,若引入中间草图、标注等视觉操作,可借鉴VAoT框架记录每一步的视觉动作、渲染结果与后续利用,诊断渲染失败导致的错误传播。
- 设计多模态Agent时,避免仅依赖最终答案评估,而应分析视觉状态的忠实渲染与反馈吸收率,尤其在3D商品展示或场景理解任务中,即使模型选择正确操作,渲染瓶颈仍会大幅降低准确率。
- 通过任务相关的损坏反馈干预,可量化模型对中间视觉状态的行为依赖性,这对于验证Agent是否真实依赖视觉信息(如商品图像局部特征)而非文本捷径具有实操价值。
- 发现高反馈吸收率不一定转化为准确率提升,提示在Agent中盲目增加视觉反馈机制可能无效,应先确保渲染环节准确可靠。
推理模型Token预算饱和与不收敛早期检测
🧭 推理收敛早期探测与退出机制
University of Maryland
CoT推理呈双峰收敛,内部表征可早期预测失败,为提前退出开辟路径
📌 工作参考价值(4 点)
- 在LLM推理链生成中部署线性探针监测隐藏状态,当检测到高概率收敛失败时提前终止,可节省大量推理成本,适用于推荐理由生成、搜索解释等业务场景。
- 对简单到中等复杂度任务(如商品描述优化、query意图分类解释),采用budget forcing限制思考token数至256,几乎不损失准确率,显著降低延迟。
- 工程实现中优先使用内部激活探针而非基于输出文本熵或重复率的行为指标,前者信号更强且更早。
- 根据问题难度或早期探针信号动态分配计算资源,使推理预算自适应,实现成本与效果的平衡。
SLPO:通过替代策略优化实现潜在推理的扩展
🧭 强化学习 · 潜在推理 · 测试时扩展
The Hong Kong Polytechnic University · Sichuan University
提出替代潜在策略优化(SLPO),用经验密度和自适应停止将结果奖励RL引入潜在推理,实现测试时扩展
📌 工作参考价值(4 点)
- 潜在计算可用于推荐Agent的推理加速:在对话推荐或商品解释生成中,用连续向量代替显式CoT token,可大幅降低服务端推理成本,SLPO的RL训练方式可直接优化这种潜在表示。
- 替代密度思想可借鉴到无似然生成场景的信用分配:当推荐系统的生成模块(如生成式检索)的中间状态不可微时,可构造经验替代分布来分配轨迹级奖励,实现端到端优化。
- 自适应停止头可动态控制推荐Agent的思考深度:根据用户查询的复杂程度(如长尾商品推荐 vs. 热门商品),动态分配潜在计算步数,平衡效果与延迟,这与搜索/推荐中的动态路由需求一致。
- RL+潜在推理的范式可迁移到多步推荐策略优化:例如在多轮对话推荐中,将隐式状态更新建模为潜在轨迹,用最终转化信号作为奖励进行RL训练,实现推荐策略的自适应优化。
Groc-PO:面向多模态LLM的显式接地偏好优化
🧭 多模态LLM对齐 · 分阶段接地偏好优化
University of Science and Technology of China · Xiaomi Corporation · State Key Laboratory of Communication Content Cognition, People's Daily Online
通过在多模态推理的物体、上下文和推理阶段引入显式偏好监督,抑制错误传播并减少幻觉
📌 工作参考价值(4 点)
- 在商品图文描述生成、多模态问答等场景中,可借鉴分阶段偏好优化思想:分别对物体识别、上下文理解和推理结论设计偏好对,在训练时注入更细粒度的真实监督,从而减少事实错误。
- 构建偏好数据集时,可采用类似GCPD的三阶段结构(Object Grounding, Contextual Grounding, Grounded Reasoning),强制模型在生成中间步骤时保持与视觉证据的紧密一致性,这对需要多步推理的电商导购Agent尤其关键。
- 工程实现上,可直接在流行的DPO训练框架(如trl)中添加按阶段分组的损失项,只需将偏好对按阶段标记,然后联合优化,无需大幅改动训练管线。
- 该显式接地监督思路可迁移至搜索推荐中的多模态理解模块(如商品图、视频理解),提升对长尾商品或复杂组合的识别精度,最终改善推荐理由或搜索摘要的真实性。
长度惩罚让思维链更不易监控
🧭 思维链压缩导致可监督性下降
带长度惩罚的强化学习压缩思维链时优先移除影响答案的线索,降低可监控性
📌 工作参考价值(4 点)
- 若用 LLM 生成推荐理由或解释,为省 token 进行长度压缩可能掩盖真实决策依据,增加审核与合规风险。
- 在 Agent 多步推理中,压缩中间步骤虽提升效率,但可能丢失对行为可追溯性,需额外监控机制。
- 评估压缩效果时不应只看 token 数和准确率,需加入忠实度或可监控性指标,防止模型被偏见利用而无法察觉。
- 长度归一化比较显示,选择性删除内容而非随机缩短是监控性下降的主因,可尝试在压缩中保留关键线索或事后审计。
从投票到智体协作:答案类型感知的LLM流水线
🧭 多Agent协作与问题类型路由
Korea University · Myongji University · AIGEN Sciences
针对生物医学问答中不同答案类型设计LLM推理策略,结合多智体协作验证取得最佳结果
📌 工作参考价值(4 点)
- 问题类型路由:在推荐/搜索中,可对查询意图分类后路由到不同LLM推理策略,例如事实型查询用CoT,主观型查询用多Agent辩论,减少单一模板的偏差。
- 多Agent验证与集成:对于需要多源证据的推荐解释或复杂决策,可采用类似“提取-生成-验证-聚合”的协作链,提高答案可靠性和可解释性,尤其适合客服Agent或商品选品解释。
- 自反思与顺序扰动:yes/no问题中对证据片段进行洗牌和自反思,可降低模型对输入顺序的敏感性,增强预测稳定性;在广告创意排序或商品评论摘要中可借鉴,避免位置偏差。
- 集成预测与类型定制:将多个模型/模板的预测通过投票结合,并根据问题类型定制集成方式,这种方法可直接用于搜索广告Bidding中的多信号融合,提升出价策略的鲁棒性。
GR2:面向工业级重排序的生成式推理重排框架
🧭 LLM 推理重排序 · Semantic ID ★ 深度解读
Meta AI
通过语义 ID 中训练、推理链蒸馏和可验证奖励 RL,将 LLM 推理引入重排序并解决工业部署瓶颈
📌 工作参考价值(4 点)
- 用 Semantic ID 弥合 LLM 与物品表征鸿沟:传统非语义 ID 不在 LLM 词表中,直接使用会导致推理断裂。GR2 采用的 tokenizer 可将物品映射为≥99% 唯一性的 Semantic ID,并混入中训练语料,使 LLM 能够直接基于物品语义进行推理。电商/广告场景中,尤其适合商品、广告创意这类属性丰富的实体。
- OPD 替代 SFT 防止大规模训练坍塌:当教师-学生大小差距悬殊时,普通 SFT 会出现灾难性遗忘,OPD 以 on-policy 方式用 KL 锚定教师分布,1.7B 学生可恢复 32B 教师 82% 的收益,大幅降低推理成本。在预算有限又需要蒸馏大模型推理能力时,这是比 SFT 更稳定的方案。
- 重排序奖励设计中的反作弊策略:RL 训练时 LLM 会通过直接抄袭输入顺序或利用位置偏差来获取格式奖励分。GR2 采用条件奖励——当输出等于输入顺序且输入非最优时,将排名奖励归零,仅保留格式分,可有效抑制 reward hacking。这对任何使用 RL 做 listwise 优化(如列表广告排序、推荐 feed 排序)的场景都有直接借鉴价值。
- 思考链内部化降低服务成本:在推理增强 RL 后再做一次无 CoT 的 RL 微调,可将推理能力内化到参数中,在推理时无需生成思考链,推理成本降低约 15 倍且排名质量不降。适合对延迟敏感的在线上文,比如搜索广告重排、推荐首屏展示。
数学推理中思维链的SHAPE分析框架
🧭 数学推理CoT分析与后训练
Graduate School of Data Science, Seoul National University · Department of Mathematics Education, Seoul National University
用语义空间与启发式分析数学CoT,发现启发式更能解释正确性且可通过多样化后训练提升推理
📌 工作参考价值(3 点)
- 将Agent推理诊断从表面特征转向结构化技能分析:可借鉴SHAPE的二维编码(语义空间+启发式),对搜索推荐Agent(如意图理解、召回策略选择、排序解释)的推理轨迹打标,定位模型在哪些解释框架或动作上出错,而不是只看最终效果。
- 警惕RL微调中的模式坍缩:该研究发现RL使启发式使用趋于mode-seeking。在训练对话式推荐或query改写Agent时,若仅使用结果奖励,模型可能只学会一种固定策略,建议加入策略多样性正则或覆盖多个启发式的过程奖励。
- 通过构造多样化策略数据提升模型泛化:后训练时显式促进启发式多样性可提升数学推理准确率,迁移到业务可构造包含不同改写策略(如扩写、纠错、意图切换)的query推荐数据,让模型学习多种解法而非单一模板。
IV-CoT:隐式视觉思维链实现结构感知的文本到图像生成
🧭 多模态生成 · 隐式视觉链式推理
NLPR, Institute of Automation, Chinese Academy of Sciences · Ant Group · The University of Hong Kong
提出隐式视觉思维链推理,将条件查询分解为潜层结构规划与语义渲染级联,在单次前向中提升生成图像的结构遵循能力。
📌 工作参考价值(4 点)
- 主要学术贡献,但提供的结构-语义分解式生成框架可启发电商场景下的可控商品图生成:先用隐式查询规划物品属性、数量、空间关系,再渲染纹理细节,提升复杂广告素材的指令遵循度。
- 训练时仅用草图作为结构监督、推理时完全隐式的设计,可用于业务中需要轻量级中间控制的多模态生成任务,避免增加在线时延。
- 对于搜索推荐系统中 Agent 驱动的图文混合输出,借鉴这种级联潜空间规划思路,可能改善多约束条件下的生成一致性。
- 整体而言,方法面向通用 T2I 结构控制,直接迁移到推荐检索场景的路径较窄,更多是提供一种多模态生成质量优化的技术储备。
强化空间视觉语言模型的双路径推理
🧭 多模态空间推理 · 强化学习
The University of Hong Kong · NVIDIA · University of California, San Diego
提出SR-REAL框架,通过强化学习统一优化纯语言推理与检测-推理双路径,显著提升空间VLM推理能力
📌 工作参考价值(4 点)
- 双路径策略可借鉴至多意图Agent设计:根据查询类型动态选择推理路径(如召回 vs 精排),避免单一链路的局限性
- 冷启动SFT阶段构造结构化CoT推理链与区域-3D接口,类似推荐中融合视觉/文本特征的grounding设计
- GRPO强化学习结合格式奖励与任务奖励,确保推理格式可控,避免自由文本退化,对Agent输出格式化有直接参考
- 混合2D/3D和数据增强策略可用于构建更鲁棒的模型初始化,提升面向多样业务场景的泛化能力
基于隐式推理的LLM生成式推荐方法
🧭 生成式推荐 · Semantic ID · 隐式推理 ★ 深度解读
University of Virginia · Snap Inc.
用可训练的 <pause> 令牌替代显式思维链,在Semantic ID推荐上效果更好且训练推理更高效
📌 工作参考价值(4 点)
- 用 <pause> tokens 做隐式推理,避免为每个样本生成昂贵且脆弱的文字理由:直接在输入中插入可训练的暂停令牌,仅通过下一个 item 预测损失优化,省去教师模型生成、理由对齐和 RL 后训练,训练成本降低 65%,推理速度提升 3.5 倍。
- 诊断显式 CoT 在 SID 场景下的三大失败原因,避免踩坑:弱化世界知识 verbalization、文本与 SID 嵌入空间分离、理由质量敏感。若团队正在尝试让 LLM 生成带推理的推荐,可将这些发现作为前置分析,避免无效投入。
- pause token 初始化和预训练策略可复用:将 <pause> 初始化为全体词嵌入的均值,再在结合文本与 SID 的数据上预训练,使其位于两个嵌入空间的交界处,有效桥接语义。该套路可迁移到其他需要融合离散 token(如用户行为序列、attribute tokens)的场景。
- 隐式 latent scratch space 思路不限于推荐:在输入和输出之间留出 k 个可学习的位置(不需监督),让模型自行决定如何利用这些中间计算,是一种通用的归约推理开销且提升下游任务表现的方法,可尝试用于搜索、广告点击率预估中的用户意图表征。
HoloRec:整体编码与交错推理的生成式推荐
🧭 生成式推荐 · 层级语义编码与内生推理 ★ 深度解读
Institute of Information Engineering, Chinese Academy of Sciences · School of Artificial Intelligence, Beijing Normal University · JD.com
提出多粒度嵌套残差量化构建层级语义编码,通过门控交错推理实现内生链式思维,统一表示、推理与生成
📌 工作参考价值(4 点)
- 多粒度语义ID构建:对item embedding按维度切片进行嵌套残差量化,生成粗到细的离散编码矩阵,可用于电商召回-粗排-精排的级联体系,在不同阶段使用不同粒度,减少计算开销同时保持语义对齐。
- 免费午餐的多粒度辅助训练:训练时添加粗粒度预测头(共享backbone),用粗粒度语义ID作为辅助标签,推理时去掉该头不增开销,可直接提升召回多样性(粗粒度标签帮助模型覆盖更多候选),适合电商长尾商品推荐。
- 内生交错推理机制:在自回归生成过程中,每一步先预测粗粒度语义分布,经门控注入到细粒度解码,隐式实现Chain-of-Thought而无需外部推理数据。可迁移到对话式推荐Agent中,在生成推荐列表时逐步细化用户意图,提升Top-1准确率。
- 稀疏场景增益显著:整体编码和交错推理对稀疏数据(如Beauty数据集相对TIGER Hit@5提升14.2%)效果突出,可用于解决电商中冷启动用户或新商品推荐问题。
超越承诺边界:探究大型推理模型中的附带现象链式思维
🧭 推理模型 · CoT可解释性 · 承诺边界 ★ 深度解读
CLCG, University of Groningen · University of Milano-Bicocca · University of Trieste · Khoury College of Computer Sciences, Northeastern University
通过截断因果框架定位CoT中的“承诺边界”,证明答案固化后的推理为附带现象,并用探针实现推理提前退出,节省最高55%的token。
📌 工作参考价值(4 点)
- 推理提前退出机制:通过探针预测答案承诺阶段,可在生成式推荐或对话Agent的推理链中实现动态提前终止,节省推理算力,同时保持输出质量。
- 识别并裁剪冗余推理:发现大量“附带现象”推理步骤对最终答案无因果影响,可用于训练数据清洗或生成后处理,截断 Agent 多轮交互中的无效推思考绪,提升系统效率。
- 内部激活探针灵活部署:轻量因果注意力探针可在单次前向传播中实时分类推理状态,跨任务泛化能力强,可迁移至电商客服Agent的思考链监控,在关键决策点触发动作。
- 模型选择与调优启示:不同模型家族的承诺边界位置差异显著(例如Gemma仅需13%推理长度即固化答案),在选型与微调时可针对性优化思考长度与准确率的权衡。
多方实时语音代理的自适应轮流说话
🧭 多方语音代理 · 流式推理与角色扮演
Amazon AGI · IIT Kharagpur
提出 ModeratorLM,根据分配角色自适应调整多方语音对话中的轮流行为,精度提升超40%,召回提升超70%。
📌 工作参考价值(4 点)
- 角色条件控制代理行为:在电商客服或语音导购场景中,可为代理显式指定角色(如促销导购、售后专员),模型将根据角色调整轮候策略和响应风格,提升对话自然度。
- 流式 chunk-wise 推理与 CoT 增强:采用分块流式语音大模型,结合 Chain-of-Thought 推理,可在低延迟下完成复杂的轮流决策,适合对实时性要求高的电音语音交互。
- 合成对话数据生成:RolePlayConv 数据集构造方法利用了角色多样性合成,可低成本生成特定业务场景的训练数据,减少人工标注成本。
- 减少误打断:提出的方法显著降低误打断率,在呼叫中心或语音工单等场景中可避免重复澄清,改善用户体验。
IS-CoT:通过交错结构思维打破长文本生成崩溃
🧭 长文本生成 · 动态规划与反思 ★ 深度解读
Soochow University · PLA Academy of Military Science
提出交错式Plan-Write-Reflect循环,让8B模型在长文本生成上超越大模型,打破长度崩溃。
📌 工作参考价值(4 点)
- 在生成长文本(如商品详情、营销软文)时,可采用 Plan-Write-Reflect 循环:每写一段后反思当前进度并调整后续计划,避免偏离主题或长度失控。
- 对于多步对话 Agent(如导购助手),可借鉴全局大纲+局部规划+反思的结构,让模型在长对话中维持目标一致性,防止上下文遗忘。
- 训练时保留完整的推理链(计划、反思 token),通过 SFT 直接让模型学习动态规划,小模型也能获得强长度控制与连贯性,适合低资源业务定制。
- 多教师蒸馏的设计可提升数据多样性,避免生成风格单一,对构建特定领域(如电商)的高质量“带思考过程”数据集有直接参考价值。
OneReason:面向生成式推荐的感知-认知推理模型
🧭 生成式推荐 · Semantic ID · 推理增强 ★ 深度解读
Kuaishou
通过多粒度预训练、层次化 CoT SFT 和“先专后统”RL,首次在生成式推荐中让思考模式稳定超越非思考模式
📌 工作参考价值(4 点)
- 多粒度预训练数据设计:将推荐语料构建成 token→item→relational→user 四个层次,其中 token 级构造组合语义预测、item 级做容量感知的caption粗粒化、relational 级生成兴趣流转解释、user 级混入跨域时间线与text替换。电商/短视频场景可直接复用这种分层来强化物品语义表示和用户理解。
- 推荐 CoT 模板与监督:定义 R0(感知)→R1(推导)→R2(演化)→R3(推荐)的层次化 SFT,每条 CoT 先压缩用户历史为兴趣状态,再基于状态推理下一交互。实际业务中,可以参照该模板用 LLM 为历史序列打标兴趣点,构建带推理痕迹的训练数据,提升模型的解释性与准确率。
- “先专后统”RL 策略:在多模块推荐场景中,先在每个单域做 RL 解锁思考模式增益,再通过拒绝采样微调或多教师蒸馏跨域平衡。对于电商/广告/直播等多业务线融合训练,可避免域间干扰,稳定提升整体收益。
- CoT 监督向非思考模式的迁移:论文发现将 CoT 推荐数据混入训练,可以提升非思考直接生成的性能。对于线上延迟敏感、无法实时推理的场景,可在训练阶段使用 CoT 数据,推理时丢弃思考过程,既保持低延迟又获得效果提升。
RREDCoT:面向推理模型的段级奖励再分配
🧭 RL微调中的信用分配与奖励再分配 ★ 深度解读
Johannes Kepler University Linz · Cognizant AI Lab · NXAI GmbH
利用语言模型自身近似最优奖励再分配,无需额外生成,提升GRPO等强化学习的样本效率。
📌 工作参考价值(4 点)
- 多步推理Agent的奖励塑形:可直接利用策略模型自身预估中间状态价值,避免额外价值网络或MC采样,适合长序列在线训练。
- 高效分割策略:混合关键词–熵合并的分割方法可为长文本生成任务(如商品描述生成、对话策略)提供廉价且有效的片段级奖励分配。
- 自助奖励再分配:当缺少参考解时,可用模型自身产生的正确答案进行奖励再分配,适配真实业务中无完美演示的场景。
- 轻量实现:仅需一次前缀前向传播即可获得片段级信用,KV复用使峰值显存不变,适合在现有GRPO等RL管线中快速集成。
不变梯度对齐的鲁棒推理蒸馏
🧭 鲁棒知识蒸馏 · 不变学习
University of Oxford · FLock.io
通过逻辑同构集和连续梯度冲突掩码对齐梯度,提升小模型链式推理的 OOD 泛化性
📌 工作参考价值(4 点)
- 蒸馏推理模型时,构造跨域逻辑同构数据可显著减少表面捷径学习,对需要跨品类解释的推荐系统 CoT 蒸馏有直接借鉴。
- 连续梯度冲突掩码(M=exp(-τ·V))可抑制任务特定维度,保留跨任务不变梯度,适用于多任务推荐模型(如同时优化点击、转化、停留)中避免负迁移。
- 将掩码梯度通过截断 SVD 投影回 LoRA 子空间,不引入额外推理参数,适合在参数高效的推荐召回或排序模型微调中部署。
- 逻辑一致性得分可作为评估指标,用于检测推荐解释或 Agent 推理的 OOD 稳定性,促进生产级可靠性。
基于归一化流的潜在推理框架 NF-CoT
🧭 潜在推理 · 归一化流 · 连续思维
University of Pennsylvania · UC San Diego · Meta
用归一化流建模连续潜在思维,保留自回归生成、精确似然与 KV 缓存,提升代码生成并降低推理成本
📌 工作参考价值(4 点)
- 压缩中间推理,减少 token 开销:将部分思考步骤表达为紧凑的连续向量而非文本 token,在需要长推理链的任务中可显著降低 API 调用成本或推理延迟,适合电商客服、推荐解释生成等对延迟和成本敏感的场景。
- 保留左到右自回归与 KV-cache 兼容性:NF-CoT 的连续思维嵌入原语言模型的因果流,不影响标准推理加速技术,可直接部署到现有 LLM 推理服务中,无需特殊工程改造。
- 连续空间概率建模支持策略梯度优化:提供精确的似然估计,可在连续思维空间上直接进行 RL 微调,为 agent 工具调用推理或推荐策略学习提供更细粒度的优化信号。
- 连续思维可蒸馏自显式 CoT:能够将繁琐的文本推理链压缩成连续表示,未来可用于压缩电商中的长对话历史或复杂推荐逻辑,作为高效上下文注入后续生成。
智能体思维链转向:高效可控的 LLM 推理框架
🧭 LLM 推理控制 · 预算自适应策略转向 ★ 深度解读
University of California San Diego · Intuit AI Research
将推理过程建模为马尔可夫决策过程,用可训练的控制器代理在推理过程中动态选择策略和转向短语,实现预算感知的高效思维链转向
📌 工作参考价值(4 点)
- 分步导向的推理控制可迁移到多步业务任务:电商场景中的复杂客服、多轮谈判、商品对比推荐等需要长链推理的任务,可以采用类似的控制器-推理器架构,将推理过程分解为可引导的步骤(理解、规划、执行、检查、总结),在每一轮通过轻量级控制器选择最优策略短语,在保持答案质量的同时大幅降低 token 开销。
- 预算条件奖励塑形设计可控制生成长度与成本:论文提出的非对称奖励函数(正确但超预算降分,错误但未用尽预算加重惩罚)可直接用于推荐系统中的生成式文案或解释生成,通过设定 token 预算实现质量与成本的精细权衡,避免长而不实的输出或过早截断导致错误。
- 异步控制器-推理器部署架构降低延迟:将控制器与推理器部署为独立的 SGLang 服务器并通过异步 HTTP 通信,可以实现与直接批量推理相仿的吞吐量,这一架构可借鉴到在线推荐系统的多智能体编排中,以低延迟实现复杂的多步决策。
- 可解释的节省来源分解支持精准优化:论文将 token 节省区分为缩短正确答案、挽救错误尝试、提前终止错误路径等类型,业务系统可借鉴这种分类来定位推理环节的冗余部分,有针对性地优化推理策略,如减少不必要的验证轮次。
提示级蒸馏:非参数替代微调的高效推理方法
🧭 提示蒸馏 · 高效推理
Google
将教师模型的推理模式蒸馏为结构化的系统提示,让小模型零微调、低延迟达到前沿推理性能
📌 工作参考价值(4 点)
- 实时推理场景降本:在电商搜索意图理解、推荐理由生成等需要多步推理的任务中,可将大模型的 CoT 推理模板提炼为系统提示注入小模型,延时几乎不增加,推理成本大幅降低。
- Agent 决策加速:在 Multi‑Agent 任务规划中,复杂 CoT 可蒸馏为精简指令,使 Agent 用 4B 模型即可完成原本需要大模型才能做的逻辑推理,适合高并发在线服务。
- 可解释性与合规:提炼出的显式推理步骤天然透明,便于风控、内容审核、推荐解释等场景实现人工校验,满足强监管行业需求。
- 工程快速迭代:无需微调、不改变模型权重,只需更新系统提示即可迁移推理能力,适合 A/B 测试和快速部署至边缘设备。
先理解再求解:预计划增强的LLM数学推理框架
🧭 LLM推理范式·规划与预计划 ★ 深度解读
Hong Kong University of Science and Technology (Guangzhou)
在问题→计划→CoT之间插入显式的“预计划”阶段,明确分析问题类型与陷阱,并通过防剧透过滤与复合奖励保证计划真正遵循预计划,在不增加推理开销下提升数学推理性能。
📌 工作参考价值(5 点)
- 面向电商/推荐/Agent从业者的可借鉴点:
- 在Agent规划中引入显式意图分析阶段:类似于预计划,在生成执行计划前,先让模型分析用户意图、可用工具、约束和潜在陷阱,再输出具体步骤;可参考论文中“先what后how”的范式分离设计,减少规划错误。
- 用防剧透过滤器清洗训练数据:当需要为推理或规划链条生成中间分析数据时,可使用规则化spoiler-score检测器过滤掉“把答案/推导提前泄露”的低质量样本,保证中间分析只停留在高层策略而非具体计算。
- 设计复合奖励让中间输出被真正使用:对于多阶段的生成(如推荐理由→候选生成→排序),可在RL训练时引入“前后一致性奖励”,强制模型生成的理由真正被下游模块遵循,而非装饰性文本。
- 零额外推理开销的高阶组织:PPC范式表明,增加结构化的前序分析不会膨胀总token数,反而因减少了后续推理的试错而更高效;这给多阶段生成系统(如多Agent推理链)提供了设计信心:引入规划摘要层可能整体提速。
先思考后约束:大语言模型统一解码框架
🧭 LLM解码:自由推理与结构化生成统一 ★ 深度解读
Télécom Paris, Institut Polytechnique de Paris · Nokia Bell Labs · Nokia
通过先自由推理后触发约束解码的单步框架,消除过早触发,在多个推理任务上准确率提升高达27%,并保证100%解析率。
📌 工作参考价值(4 点)
- 在需要LLM同时进行推理并输出结构化指令(如API调用、数据库查询参数)的场景中,采用先自由推理再触发约束(如特殊标记)的模式,可避免过早格式限制打断心智链。
- 使用单个<eos>作为唯一触发token,能有效解决premature triggering问题,提升推理完整性。
- 结构化解码可充当天然的后处理解析器和语法修正器,无需额外模型,降低管线复杂度,尤其适合多字段结构化提取(如电商商品属性、Agent工具调用参数)。
- 方法仅需增加5-20个token开销,适合追求低延迟和高吞吐的工业系统,可直接集成到现有LLM推理管线中。
将思维链融入生成式检索:ThinkGR 初步探索
🧭 生成式检索 · Chain-of-Thought 集成 ★ 深度解读
Shandong University, Qingdao, China
首次在生成式检索中实现思考与文档ID生成交错进行,通过混合解码和检索奖励的强化学习取得SOTA。
📌 工作参考价值(4 点)
- 思考-检索交错范式:在生成式推荐中,可让模型先生成推理步骤(如需求拆解),再生成候选 item ID,缓解复杂意图与商品之间的语义鸿沟,适用于多步推理的购物场景。
- 混合解码策略:使用 FM-index 等约束解码保证生成的 item ID 合法,避免推荐不存在的商品,同时保留自由文本思考的灵活性,实现端到端可靠生成。
- 检索奖励驱动的思考优化:用业务指标(如点击率、转化率)作为奖励信号,通过 KTO 等 RL 方法优化模型思考质量,无需人工标注思考步骤,适合线上持续学习。
- 结构化标识表示:以知识三元组作为文档/商品 ID,增强关系推理能力,可借鉴为商品属性三元组,提升生成式推荐中的可解释性与检索效率。
LatentOmni:统一音视频潜在推理的全模态理解框架
🧭 统一潜在空间的音视频联合推理
Shanghai Jiao Tong University · Kuaishou Technology · Peking University · HKUST · CASIA
提出在潜在空间进行音视频联合推理,保留连续感知信息,通过特征级对齐与时序同步,超越显式文本思维链。
📌 工作参考价值(4 点)
- 潜在空间推理可用于多模态内容理解:电商直播、视频评论等场景中,可直接在连续潜在空间融合音视频信息进行推理,避免先转文本带来的信息压缩和时序错位,可用于商品属性校对、演示合规检测等。
- 特征级监督对齐任务相关信号:在训练多模态推荐或Agent模型时,可借鉴其feature-level supervision让潜在表示直接与目标任务(如动作定位、事件检测)所需的细粒度特征对齐,提升下游任务精度。
- Omni-Sync Position Embedding(OSPE)保持时序一致性:该位置编码方法可应用于处理同步的音视频流,如直播切帧与语音的精确对齐、跨模态时序 grounding,适用于视频理解、虚拟主播驱动等。
- 构建交织推理轨迹数据:LatentOmni-Instruct-35K的构造思路可用于生成电商场景的多模态思维链数据,监督模型学习在潜在空间中混合文本和感知状态进行逐步推理。
COTCAgent:基于概率思维链补全的预防性咨询系统
🧭 Agent ★ 深度解读
The University of Hong Kong · University of Electronic Science and Technology of China · The University of Sydney
通过解耦可执行趋势统计、IDF 加权知识库评分和有界对话补全,COTCAgent 实现纵向 EHR 的可审计疾病排序。
面向视觉过程问答的分层推理框架与基准
🧭 视觉过程问答 · 多模态分层推理
提出ProcedureVQA基准和CoP层次推理框架,通过先检索后细化的方式增强VLM的过程推理能力
📌 工作参考价值(4 点)
- Agent 多步决策借鉴:CoP 的“先粗粒度检索 → 细粒度步骤分解”架构可直接用于电商场景的过程式 Agent,如根据订单状态图片自动检索售后退款流程并定位下一步操作。
- 多模态 RAG 实现:利用视觉线索检索结构化过程知识库的方法,能迁移到商品手册、安装教程的智能问答系统,通过图像匹配相关文档段落再生成答案。
- 数据构建思路:ProcedureVQA 的构建方式可用于内部评测 Agent 的多模态过程推理能力,暴露模型在细粒度跨模态对齐上的短板。
- 流程优化 trick:CoP 的语义分解模块对于长文本步骤的细化,可用于将用户粗糙的意图(如“退货”)分解为可执行的子步骤,提升推荐或客服 Agent 的指令可操作性。
停止过度思考:以最简推理解锁高效列表重排序
🧭 RAG ★ 深度解读
Beijing Institute of Technology
提出长度正则化自蒸馏,剪枝冗余推理,在保持排序效果的同时减少 34–37% 的推理 token
通过自我回忆思维提升多轮对话一致性
🧭 Reasoning ★ 深度解读
University of Electronic Science and Technology of China
提出 Self-Recall Thinking 框架,让 LLM 在推理中内生回忆并引用关键历史轮次,兼顾多轮对话准确率与效率。