AI Papers Daily

#LALM

2 篇

To Trust or Not to Trust: Retrieval-Augmented Fact Checking in Speech

信任与否：语音检索增强事实核查

🧭 语音事实核查 · RAG+CoT

IISER Bhopal · King's College London · MBZUAI

提出语音事实核查基准 VeriSpeak，揭示文本-语音模态差距，并验证检索+显式推理准确率达86.1%

📌 工作参考价值（4 点）

• 直播/短视频事实审核：在电商直播、短视频带货中，虚假宣传检测可用「语音输入 + 文本检索证据 + 显式推理」管道；仅拼接检索片段容易被模型混淆，应加 CoT 要求先区分“声明”和“证据”再判断。
• 模态差距评估：如果现有文本事实核查/内容安全模型被用于语音转写后的文本，要意识到可能存在系统性能下降；上线前需在真实语音或 TTS 基准上评估，或直接用 LALM 处理音频。
• RAG 防混淆设计：召回证据后，可在 prompt 中用角色/字段显式隔离 claim 与 evidence，并要求模型输出“一致/矛盾/无关”的结构化判断，这比直接给混合上下文更稳。
• 业务基准构建：可参考 VeriSpeak 的 probe 设计，构建电商领域 spoken claims 小样本（如功效、产地、价格承诺），快速对比不同 RAG+推理组合。

RAG | 2026-09-24 | cs.LG | score 6/10

SpeechRAGFact CheckingLALMCoTBenchmark

Direct or Mediated? Task-Dependent Audio Information Routing in Large Audio Language Models

直接还是中介？大音频语言模型中任务相关的音频信息路由

🧭 多模态音频 LLM 信息路由分析

Graduate School of Informatics, Kyoto University · WXG, Tencent

用逐层注意力 knockout 揭示 LALM 中 ASR 与 AQA 的信息路由差异，指出音频拼接下 AQA 失败源于下游信息利用瓶颈

📌 工作参考价值（4 点）

• 多模态 LLM 在拼接/混合输入下不同任务鲁棒性差异大：直接检索型任务（如 ASR）更稳，需要推理整合的任务（如 AQA）易崩。做语音购物、智能客服等业务时，不能假设模型整体 robust，需分开评估识别子任务与问答/决策子任务。
• 逐层 attention knockout 和 prompt-token probing 可作为诊断工具复用：定位多模态模型在复杂输入中失败是早期编码信息丢失还是下游检索/利用瓶颈。在生成式商品推荐中，可检查 item 信息是直接由生成 token 检索，还是先写入 prompt token 再中介。
• 若发现任务依赖 mediated route 且下游利用不足，可考虑架构干预：对 prompt token 增加辅助监督或跨模态对齐损失，强化中介表示；或在生成阶段引入 pointer/显式检索机制绕过自回归访问瓶颈。
• 工程上，当多个商品描述或音频片段拼接输入时，中间层 prompt 表示可能仍保留信息但利用不起来，可考虑加入外部 key-value memory 或 cache，让生成 token 显式检索，缓解信息利用瓶颈。

Multimodal | 2026-08-27 | cs.MM | score 6/10

LALMAudio Question AnsweringASRAttention RoutingInterpretabilityMultimodal LLM