Exploring Collaboration between a language and a non-language agent
语言与非语言智能体的隐状态协作研究
🧭 LLM 与非语言 Agent 的隐状态协作 ★ 深度解读
Adobe Media and Data Science Research · IIIT-Delhi · IIT Kanpur · SUNY at Buffalo
提出隐状态内部化，将非语言 agent 的连续表示投影为 latent tokens 注入 LLM，显著优于文本化协作
📌 工作参考价值（4 点）
- 用 latent tokens 替代文本描述传递模型信号：在对话推荐或生成式推荐中，若 LLM 需要融合精排模型/用户模型的连续表示（如 embedding、CTR 分布），训练一个轻量投影器（类似 LatentBridge）将这些表示作为 continuous tokens 注入 LLM，可避免将 embedding 离散化或文本摘要造成的信息损失。两阶段训练（先冻结 LLM 训练投影器，再联合 RL/SFT）能稳定收敛。
- 让 LLM 自主决定何时查询子模型：内部化后 LLM 学会任务特定的查询策略（如反事实查询、多步前瞻），且平均调用次数降低，可控制推理成本。在对话式搜索或策略规划中，允许 LLM 按需调用子模型（如检索器、精排器）并注入隐状态，能提升多步推理能力。
- 识别“不可文本化”信号：类似 Puzzle Interest 的任务，如果业务中存在无法用文本代理表示的信号（例如商品有趣度、用户偏好不确定性），latent injection 比 verbalization 有显著优势。可以设计类似评测来量化文本化损失。
- 工程细节可迁移：投影器为三层 MLP，输出维度与 LLM hidden size 匹配；使用特殊 token 锚点 + 连续 embedding 覆盖的方式注入；RL 采用 DAPO 可稳定联合训练，推理成本可控。