#reproducibility

3 篇

How Reproducible Are Evaluation Conclusions? A Self-Audit of LLM-Inferred Prompt Structure

LLM 推断提示词结构的评估结论可复现性审计

🧭 LLM 评估排名可复现性审计

Skelf Research

自审计 8 个开源 LLM 的 prompt 结构推断评估，发现排名仅底部稳定，小样本评估可能过度确定性

📌 工作参考价值（4 点）

内部 LLM 评估（如生成式推荐里的 Semantic ID 提取、query 解析、prompt 结构推断）不要只看平均排名的表格，必须补充 bootstrap 排名稳定性；业务上若只根据顶部模型排名做流量分配或 A/B 决策，可能选中的是噪声上的赢家。
温度为零不意味着确定性，同一输入多次调用可能返回不同结构；在关键抽取或推理链路中增加重复运行、记录原始输出，用一致性投票或阈值过滤，不要依赖单次输出。
模型 API 端点可能在几周内撤回或改变，线上效果会漂移；工程上应固定模型版本或内部部署，并在评估报告中记录 measurement date 和模型 revision，保证可追溯。
“可复现”不等于“准确”：模型输出自一致不能替代与 ground-truth 的对比，尤其在 prompt 结构推断等任务中，要额外做人工标注一致性验证。

Eval | 2026-09-24 | cs.LG | score 6/10

Agora：以 Git 作为集体自动研究的共享记忆

🧭 Git共享记忆多智能体协作

NVIDIA

用 Git 的 append-only DAG 为多智能体研究提供共享记忆，实现去中心化协作探索

📌 工作参考价值（4 点）

用 Git 管理 Agent 实验/策略迭代：把每个实验、假设、验证结果作为不可变 commit，parent 边显式记录依赖关系，业务侧可以低成本获得可追溯、可复现的离线实验记录，尤其适合推荐模型调参、特征 ablations 和策略 A/B 测试。
派生索引暴露“前沿+被忽略分支”：维护一个由 commit 图计算的派生索引，让 Agent 或人工可以快速看到当前最优版本、验证状态和未被探索的分支，避免多个 Agent 重复搜索同一方向。
多样性感知选择规则防单一收敛：在多智能体并行探索超参数、召回策略或生成式推荐 Semantic ID 时，引入类似多样性奖励，防止所有 worker 都扑向当前领先方案，强制探索 neglected branches，提升整体发现效率。
去中心化协作无需中央规划：13 个 LLM worker 仅通过共享 Git 状态自主分工，适合构建离线自动化 Agent 团队做模型初始化、权重迁移或 embedding 压缩等可验证任务，每个 agent 只需 checkout 任意 commit 继续工作。

MultiAgent | 2026-09-15 | HF Daily | score 7/10

推荐系统评估中的训练种子与模型选择稳定性

🧭 推荐系统评估可复现性与模型选择

Aalborg University · Johannes Kepler University Linz · ISISTAN · CONICET-UNCPBA

固定数据划分仅变训练种子，证明单种子结果会高估推荐模型评估稳定性，种子应纳入评估协议

📌 工作参考价值（4 点）

离线对比召回/排序模型时，同一配置至少跑 3-5 个训练 seed，报告 metric 均值±方差；若两组模型 score 差异落在 seed 方差内，不要下“有提升”结论。
做 hyperparameter tuning / model selection 时，不要用单 seed 的 validation 最优直接定配置；可用 multi-seed validation 平均或 bootstrap，并检查 validation→test 的转移是否稳定。
除了 nDCG/Recall，同时看 top-k 列表的 Jaccard/agreement；分数接近但列表重叠低时，线上效果可能不稳定，尤其影响广告/推荐位的曝光一致性。
若业务 pipeline 含 dropout、negative sampling、masking 等随机机制，固定 seed 的离线报告会掩盖真实方差；在 launch review 中把 seed 稳定性作为通过标准。

Eval | 2026-09-02 | cs.IR | score 7/10