#Decoding

3 篇

Disentangling Paradigm, Identifier, and Decoding in Generative Retrieval

生成式检索中范式、标识符与解码的解耦分析

🧭 生成式检索 · Semantic ID · 扩散解码 ★ 深度解读

Artefact Research Center

控制 AR/扩散、docid 与解码，证明解码可改变扩散 Hit@1 6.6-13.7 点，one-pass scoring 近似最优

📌 工作参考价值（4 点）

one-pass scoring：用全 mask docid 一次前向得到 L×K 概率表，按每个候选 docid 的 code 概率求和打分，免迭代去噪，可直接作为扩散生成式推荐/检索的 top-K 召回或粗排；在本文 11/12 设置中打平或超过 generate-and-match，工程上非常适合低延迟场景。
训练 recipe 必须按范式独立调：AR 的高 weight decay、线性衰减直接用于扩散会使模型输出常数；扩散需要更低 weight decay、常数学习率、warmup 等。落地时不要复用 AR 训练配置。
random ID 在训练查询覆盖充分时保留 RQ 的 83-90% Hit@1，说明语义层级结构并非核心收益来源；若业务训练曝光已足够，可先用简单 ID 或轻量语义 ID，把资源投入解码与训练稳定性。
PQ/独立 code 在生成 miss 后 gold 更容易留在候选里（恢复率约为 RQ 的 2.3 倍），且更适合并行解码；若采用 block diffusion 或 MDLM，可优先考虑 PQ-like 或维度独立的 semantic ID，并搭配 one-pass/chain-rule 解码。

GenRec | 2026-10-06 | cs.IR | score 10/10

PRICE：比特币价格预测中 LLM 适配选择的系统研究

🧭 LLM 时间序列预测 · 适配策略

Isfahan University of Technology

系统验证 LoRA、递归推理、整数表示、CTF 提示与零温度解码如何提升 LLM 比特币价格预测精度与稳健性

📌 工作参考价值（4 点）

低资源数值预测可直接复用：4-bit 量化 LLM + LoRA 在有限硬件上可重训，适合电商销量/GMV/出价等频繁更新的数值预测，不必上大参数全量微调。
连续值取整是一种简单有效的表示 trick：用整数代表价格、销量、金额等，可降低回归误差和 token 空间，业务上可先做分箱/取整再训练。
多步预测用递归推理而非一次性输出，配合 temperature=0 解码，能显著提升多步预测稳定性和误差；广告消耗、库存曲线预测可借鉴。
CTF 提示固定 Context/Task/Format 结构优于 CoT/few-shot，且微调后仍有效；在构建 LLM 预测/排序任务 prompt 时优先设计统一结构，而不是依赖复杂推理提示。

LLM | 2026-09-04 | cs.LG | score 6/10

扩散模型图到文本生成的首个解掩码轨迹分析

🧭 扩散语言模型 · 图到文本生成 · 解码轨迹控制

The University of Texas at Arlington

发现掩码扩散语言模型解码时天然优先还原实体，并针对微调破坏策略提出推理时结构词降权修正

📌 工作参考价值（4 点）

电商商品描述生成：若采用扩散模型从商品知识图谱生成卖点文案，可借鉴其“实体优先”的天然解码顺序，显式约束先输出关键属性（品牌、成分），再生成连接词，减少幻觉，确保信息完整。
扩散解码控制：分析扩散语言模型的 token 解掩码轨迹，可发现业务数据中的类似模式（如首先生成关键实体，末尾为标点/助词），并设计针对性推理干预。λ-scaled structural decoding 提供了一种简单、无需重训的降权方法，可避免过早确定序列长度，防止信息遗漏。
多模态结构融合：Graph-LLaDA 的图编码器+扩散解码框架可作为“结构化数据 → 流畅文本”的通用范式，适用于电商中表格数据、订单信息或商品关系图的自然语言生成，比自回归式更易控制实体顺序和覆盖率。
避免微调负效应：观察到 SFT 会破坏扩散模型的自然解码策略（过早锚定结构 token），提醒在业务中使用扩散生成模型时，微调可能引入脆弱性，可考虑推理时修正或约束解码来恢复原有优势。

LLM | 2026-05-29 | cs.CL | score 7/10