AI Papers Daily

#Inference-time

5 篇

CLIMB: Confidence-Guided Complementary Evidence for Multimodal Retrieval-Augmented Generation

CLIMB：多模态检索增强生成中的置信度引导互补证据

🧭 多模态 RAG 互补证据与置信度控制

Rutgers University · Google

训练无关的多模态 RAG 框架，用互补证据池与置信度引导的迭代细化提升知识密集型视觉问答效果

📌 工作参考价值（4 点）

• 在商品图文问答、电商知识库检索中，可用 MMR 式去冗余代替单纯 Top-K，构建紧凑互补证据池，减少重复段落、提高信息覆盖。
• 多维度 critic 评分（相关性、证据特异性、跨模态对齐）比单一相似度更精细，可迁移到多模态商品信息或图文评论的检索排序。
• 置信度条件接受机制（只有置信度上升才更新答案）可作为 Agent 多轮检索-生成中的停止准则，避免无效迭代和 token 浪费。
• 训练无关、不改动底层 MLLM 与检索器，适合在现有 RAG 流程上快速灰度实验，验证推理侧优化收益。

RAG | 2026-10-02 | cs.CL | score 7/10

Multimodal RAGMMRConfidence ControlVQAInference-timeEvidence Filtering

SpecGuard: Inference-Time Backdoor Detection For Free

SpecGuard：零额外计算成本推理时后门检测

🧭 LLM 后门检测 · 投机解码

Institute of Science Tokyo · Microsoft Security Response Center · Microsoft Azure · Shandong University

利用投机解码中的草稿token接受率变化，实现零额外计算成本的LLM推理时后门检测

📌 工作参考价值（4 点）

• 若线上 LLM 推理服务（如生成式推荐文案、Agent 工具调用）已启用投机解码，可几乎零成本监控“草稿 token 接受率”异常波动，作为模型行为突变或后门触发的预警信号，无需额外模型前向。
• “干净小模型作参照”的思路可迁移到推荐模型监控：用训练冻结的干净基线模型对比线上微调模型的输出分布，捕捉因数据投毒或环境漂移导致的异常行为，尤其是对用户输入中的罕见/语义触发模式。
• 工程实现上，接受率是一个标量，计算开销极低，适合部署在 gateway 或 serving 层；但接受率受输入难度影响，应结合分位数或滑动窗口做自适应阈值，避免正常长尾输入引发误报。
• 业务可借鉴点有限：后门检测主要服务于 AI 供应链安全，电商推荐团队若无第三方模型微调部署场景，直接迁移价值不大。

LLM | 2026-09-10 | cs.CL | score 7/10

Speculative DecodingBackdoor DetectionLLM SecurityInference-timeModel Safety

Replacing Training with Memory: Listwise Selection for Text-to-SQL

用记忆替代训练：Text-to-SQL 的列表式选择

🧭 LLM 候选选择免微调 · Memory 检索

IPAI, Seoul National University · KAIST

免微调列表式选择器，用结构化记忆作为决策标准并多排列聚合缓解位置偏差，BIRD-dev 准确率提升 2.02 且 tokens 减 2.92x

📌 工作参考价值（3 点）

• 可借鉴其 structured memory bank：把自然语言到业务实体/操作/期望输出的映射事先蒸馏成可检索片段，作为候选排序的显式标准，避免对选择器微调；在电商 query 改写、广告文案候选选择中可构建 query→商品属性/类目意图/文案风格的 memory，推理时检索作为评分依据。
• 借鉴 多排列聚合 + 执行结果/pointwise 预筛 的推理成本优化：先用轻量打分或可执行性检查过滤多数候选，只对 top-k 做多顺序的 listwise 比较，再聚合排名，能降低 LLM 调用 tokens 和位置偏差。
• 位置偏差缓解可以做成推理时策略而非训练策略，兼容已有 LLM；在搜索推荐 Agent 的多个工具/候选结果重排序环节，可直接插入多排列投票逻辑，无需额外训练。

Other | 2026-08-31 | HF Daily | score 7/10

Text-to-SQLListwise SelectionMemoryInference-timePositional BiasLLM

AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses

推理期脚手架实现强模型到弱模型的能力迁移

🧭 强模型构建推理期脚手架 ★ 深度解读

Salesforce AI Research · University of Illinois Urbana-Champaign

强模型不更新弱模型参数，仅靠推理期脚手架将弱模型ToM平均准确率从0.49提至0.91

📌 工作参考价值（4 点）

• 业务中用小模型/弱模型做 query 改写、意图分类、商品属性解析、Push 文案生成时，可先让强模型离线构造推理期脚手架：严格输出格式校验、greedy decoding、按任务子类型路由；把正则/规则/策略计算等确定性逻辑外置到代码，不让小模型做脆弱的符号推理。
• 用 5% 左右验证集做脚手架迭代即可，best validation 与 held-out 相关性极高（r=0.96）；跑 2-3 个 scaffold 选验证集最优、取上界，比反复加验证采样更划算。
• 把 builder 的 inference budget 投在深层任务分析而非多次验证上：builder reasoning effort 单调提升效果，而 validation iterations 几乎无关。具体到推荐/Agent pipeline，让强模型写出任务分解、状态提取、分支规则和 fallback，成本低但增益大。
• Headroom law：只对“弱模型有大量可纠正错误”的环节做脚手架；对已接近饱和的强模型或子任务，过度 prompt/rule 可能把原来对的答案改坏（strong target 在 Hi-ToM/MuMA 上出现负增益）。建议按子任务 headroom 做灰度和回退开关。

Agent | 2026-08-11 | HF Daily | score 8/10

Strong-to-WeakScaffoldingHarness EngineeringInference-timeTheory-of-MindLLM

FlowLong: Inference-time Long Video Generation via Manifold-constrained Tweedie Matching

FlowLong：基于流形约束Tweedie匹配的推理时长视频生成

🧭 长视频生成 · 推断时优化

KAIST · Amazon

在推理时通过滑动窗口重叠的Tweedie匹配与随机早期采样实现无训练、架构无关的长视频生成

📌 工作参考价值（4 点）

• 长序列生成的一致性控制：对于电商场景中需要生成长商品描述、营销故事或多模态内容时，可借鉴滑动窗口重叠与Tweedie匹配机制，在序列拼接处保持语义和风格连贯，避免内容漂移。
• 无需重新训练的低成本扩展：该推理时方法无需额外微调模型，可直接应用于已部署的视频/文本生成模型，快速赋予其生成长内容的能力，适合业务快速迭代。
• 随机早期采样抑制重复模式：在生成过程的早期阶段注入噪声，能有效避免自回归生成中的重复和单调问题，这一思路可迁移至对话式推荐或交互式叙事生成，提升内容多样性。
• 架构无关的插件化设计：方法不依赖特定模型结构，对Transformer或扩散模型均适用，为已有生成系统提供统一的长序列生成插件，降低集成成本。

Multimodal | 2026-05-19 | HF Daily | score 6/10

Video GenerationDiffusion ModelsTweedie MatchingInference-timeTemporal ConsistencyManifold Constraint