#MCMC

6 篇

Finetuning with Sampling: SFT Learns Better Than You Think

用采样做微调：SFT 比你想的更强

🧭 LLM 后训练 · MCMC 数据分布塑造 ★ 深度解读

Harvard University

用投影采样把离策略专家轨迹逐步变为接近基座模型分布的数据，使 SFT 在科学、数学、医学任务上超越 RL 与自蒸馏

📌 工作参考价值（4 点）

在电商/导购 Agent 里做 LLM 后训练时，如果手里有 GPT-4/GPT-5 生成的专家轨迹（如 query 改写、商品文案、购物建议），不要直接 SFT。可以先跑一遍投影采样，把专家轨迹改写到基座模型自己的分布附近，再做 SFT，能明显减少通用能力遗忘。
对难以写出 reward 的开放任务（如导购对话、医学/法规咨询生成），可以先采样出 on-policy 版本的高质量轨迹，再 SFT；这比直接上 GRPO/RL 更稳，工程上只需要离线数据加工，不改变现有 SFT 训练管线。
采样成本是一次性的，适合电商场景里「预先生成训练数据 → 日常微调」：建议 B=32、N_MCMC=10 起步，后续用 MCMC 步数作为数据质量与 token 成本的旋钮；图 5 表明加采样步数能单调降低数据 KL、提高下游精度。
如果要继续上 RL，采样 SFT 的 checkpoint 是很好的 RL 初始化，数学任务里 Sampling SFT + RL 拿到了更强结果；在商品推荐 Agent 的 RL 训练前可用同方案做 warm-start。

Training | 2026-10-01 | cs.LG | score 8/10

Explore Broadly, Reason Sharply: Push Small Models toward the Frontier via Sampling

广泛探索、锐利推理：用并行回火采样将小模型推向前沿

🧭 推理采样 · parallel tempering ★ 深度解读

Georgia Institute of Technology · University of Texas at El Paso · Morgan Stanley

用并行回火耦合多档功率锐化采样链，解决探索利用矛盾，让小模型无需训练逼近前沿推理

📌 工作参考价值（4 点）

商品文案、搜索 query 改写、Agent 多步规划等开放式生成任务，可借鉴 PPT 的探索-利用分工：低 sharpening 链生成多样候选，高 sharpening 链筛选稳定高质量答案，swap 让好路径快速上传，无需额外训练。
如果线上已缓存 log-probs 和 KV cache，swap 只是交换状态指针，几乎没有额外模型调用；适合叠加到 vLLM/paged attention 服务，峰值显存约增加 2.5-3.7 倍，按 replica 数可预估。
实现可变长度生成重采样时要注意截断偏差：采用固定 horizon + post-EOS padding，否则短序列会被单方面接受，导致目标分布偏置，直接影响生成质量。
不想上 RL post-training 但需要提升小模型推理能力时，可先试 PPT：不依赖 reward model，也避免 RL 的 jagged generalization；对数学、代码、科学推理等可验证任务尤其有效。ladder 调参优先用 equi-accepting，避免相邻 swap 接受率出现瓶颈。

Reasoning | 2026-09-29 | cs.LG | score 8/10

power sharpening parallel tempering MCMC inference-time sampling LLM reasoning

BayesPO: Bayesian Prompt Optimization via Parallel-Tempered Gradient-Guided Discrete MCMC

贝叶斯提示优化：基于并行回火梯度引导离散MCMC的后验采样

🧭 LLM Prompt 优化

Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University

将提示优化建模为离散提示令牌上的贝叶斯后验采样，用梯度引导MCMC与并行回火提升指令归纳准确率

📌 工作参考价值（4 点）

提供一种原则性后优化工具：给定初始提示和少量示例，可通过后验采样自动微调提示，适合电商/推荐场景中优化查询改写、商品描述生成等LLM指令。
贝叶斯框架可输出多个候选提示，支持集成或不确定性估计，提升生产环境鲁棒性。
梯度引导的离散MCMC方法比纯启发式搜索更高效，可考虑在Agent工作流中嵌入，利用历史交互数据在线优化Agent的指令模板。
需注意当前实现计算成本高，且容易在小样本优化集上过拟合，建议结合正则或交叉验证。

LLM | 2026-07-17 | cs.CL | score 7/10

Bayesian prompt optimization MCMC LLM Gradient-guided discrete sampling Parallel tempering Prompt optimization

Hierarchical Partial-Order Models for Ranking

层次偏序模型用于排名聚合

🧭 偏序排名聚合 · 层次聚类

University of Oxford · University of Auckland

将偏序排名模型扩展到层次结构，建模分组偏好并保持不可比性，优于现有方法。

📌 工作参考价值（4 点）

在推荐系统中，用户行为（点击、购买）常表现为偏序关系而非全序，使用偏序建模可更准确地捕捉偏好不确定性，避免强制排序带来的噪声。
层次结构允许跨用户群组共享信息，可应用于冷启动用户或稀疏评分场景，通过纳入群体先验提升预测精度。
无监督聚类扩展 HCPO 能自动发现用户群体结构，可直接用于用户分群或兴趣聚类，替代传统 k-means 等硬聚类方法。
MCMC 推断输出后验分布，可提供不确定性量化，有助于推荐可解释性及风险控制，例如在广告投放中评估偏好排序的置信度。

RecSys | 2026-06-23 | stat.ML | score 7/10

partial orders rank aggregation hierarchical model Bayesian inference MCMC clustering

Structured Inference with Large Language Gibbs

基于大型语言模型吉布斯采样的结构化推理

🧭 LLM 结构化概率推理

University of Edinburgh · CIFAR

用 LLM 的条件分布作 MCMC 转移算子迭代采样结构化变量，避免一次生成顺序偏差

📌 工作参考价值（4 点）

在推荐系统中需要生成结构化对象时（如用户属性填充、搭配生成、解释文本），可以用 LLM 的条件分布迭代修正初始生成，提升一致性，避免一次自回归导致的顺序偏差。
若业务中存在多个相互依赖的变量（如商品多字段补全、会话上下文中用户意图推断），可采用 Gibbs 采样式多次查询 LLM，利用各个局部条件相互校准，得到更符合全局分布的样本。
工程上，可将此方法封装为一种“反思-修正”循环，适用于需要高度一致性和概率连贯性的场景，如对话推荐中的实体消歧、属性约束满足。
注意该方法依赖于 LLM 提供可靠的条件分布，实际部署时需权衡计算开销与生成质量，可优先在离线数据增强或高价值交互中尝试。

Reasoning | 2026-06-17 | cs.LG | score 7/10

MCMC Gibbs sampling structured inference LLM conditionals probabilistic reasoning generative models

LLM Explainability with Counterfactual Chains and Causal Graphs

基于反事实链与因果图的LLM可解释性方法

🧭 LLM可解释性因果图构建

Technion · IBM Research

通过MCMC反事实增强从LLM预测中挖掘概念级因果图，实现透明推理

📌 工作参考价值（4 点）

可直接用于电商评论情感分析等文本分类任务，抽取LLM决策所依赖的概念及其因果结构，辅助调试模型偏见（如发现“发货速度”是否被错误关联到负面情感）。
反事实链增强方法能在标注数据稀疏时生成高信息量反事实样本，提升因果发现稳定性，适用于LLM-as-a-judge等需审计决策逻辑的场景。
所构建的因果图可作为LLM代理的透明化中间层，帮助多智能体系统理解各Agent推理链路，优化协作协议。
整体框架与模型无关，可快速迁移到产品分类、内容审核等业务中，为模型审计与合规提供概念级解释。

LLM | 2026-06-03 | HF Daily | score 7/10

LLM Explainability Causal Graphs Counterfactual Augmentation Concept-based Explanations MCMC