#bootstrap

3 篇

How Reproducible Are Evaluation Conclusions? A Self-Audit of LLM-Inferred Prompt Structure

LLM 推断提示词结构的评估结论可复现性审计

🧭 LLM 评估排名可复现性审计

Skelf Research

自审计 8 个开源 LLM 的 prompt 结构推断评估，发现排名仅底部稳定，小样本评估可能过度确定性

📌 工作参考价值（4 点）

内部 LLM 评估（如生成式推荐里的 Semantic ID 提取、query 解析、prompt 结构推断）不要只看平均排名的表格，必须补充 bootstrap 排名稳定性；业务上若只根据顶部模型排名做流量分配或 A/B 决策，可能选中的是噪声上的赢家。
温度为零不意味着确定性，同一输入多次调用可能返回不同结构；在关键抽取或推理链路中增加重复运行、记录原始输出，用一致性投票或阈值过滤，不要依赖单次输出。
模型 API 端点可能在几周内撤回或改变，线上效果会漂移；工程上应固定模型版本或内部部署，并在评估报告中记录 measurement date 和模型 revision，保证可追溯。
“可复现”不等于“准确”：模型输出自一致不能替代与 ground-truth 的对比，尤其在 prompt 结构推断等任务中，要额外做人工标注一致性验证。

Eval | 2026-09-24 | cs.LG | score 6/10

The Dice Roll Method: A Standardized Protocol for Repeated-Query Auditing of Large Language Model Brand Recommendations

LLM 品牌推荐重复查询审计的 Dice Roll 标准化协议

🧭 LLM 重复查询审计协议

Department of Information Technologies, Estonian Entrepreneurship University of Applied Sciences (EUAS), Tallinn, Estonia · Rankfor.AI, Tallinn, Estonia

为 LLM 品牌推荐重复查询审计提供统计可靠性迭代标准与指标组合，外部验证 37/39 单元复现

📌 工作参考价值（4 点）

在内部评估 LLM 推荐品牌/商品稳定性时，直接套用三档迭代标准：探索性 n=5（G=0.58）、确认性 n=10（G=0.74）、严格 n=15（G=0.81），结合 Cliff's delta 效应量阈值做决策，避免拍脑袋定重复次数。
用多指标 battery 替代单一指标：同时统计 count（出现频次）、set（集合重叠）、embedding（语义相似度）、fairness-adjusted PASOR（公平调整），警惕只盯准确率或 top-1 的误导。
处理 LLM 输出的计数或离散品牌分布时，用 negative-binomial mixed model 加依赖保持 bootstrap，而不是正态假设的 t-test；token 采样导致的过度离散会很严重。
对 prompt 改版、模型升级或温度参数调整，可以引入 KS 检验和 PSI 漂移诊断，在 pinned model snapshot 上监控输出分布变化，防止无声漂移破坏推荐一致性。

Eval | 2026-09-03 | cs.IR | score 6/10

LLM auditing brand recommendation reliability generalizability theory bootstrap simulation-based power

RoSHAP: A Distributional Framework and Robust Metric for Stable Feature Attribution

RoSHAP: 稳定特征归因的分布框架与鲁棒度量

🧭 稳定特征归因与特征选择

通过bootstrap估计SHAP分布并证明渐近正态性，提出同时奖励活跃、高影响且稳定特征的鲁棒排序度量RoSHAP

📌 工作参考价值（4 点）

推荐系统特征工程中，用RoSHAP替代单次SHAP排序，通过bootstrap多次计算均值与标准差，筛选出稳定且强效的特征，减少随机种子/数据划分带来的特征排名波动，提升特征选择的鲁棒性。
在模型迭代或AB测试场景下，定期计算特征的RoSHAP分布，监控特征重要性是否发生漂移，及时发现数据分布变化或特征失效问题。
对Agent决策解释，借鉴分布框架思想，对多轮推理或不同环境下的归因结果进行聚合，避免单次解释的随机性误导，增强解释可靠性。
工程实现上，可将bootstrap SHAP计算与训练pipeline解耦，仅需少量额外计算即可获得特征稳定性指标，用于自动化特征筛选与模型压缩。

Eval | 2026-05-14 | cs.LG | score 6/10

SHAP feature attribution stability bootstrap distribution estimation feature selection