#self-play

4 篇

Skill Issue: Are Skills Language-Invariant in LLMs?

多语言LLM技能一致性：自博弈评估

🧭 多语言LLM技能一致性评估

A*STAR · Weizmann Institute of Science · MIT-IBM Watson AI Lab · University of Cambridge · EleutherAI

通过多语言自博弈文本游戏，量化同一LLM在不同语言接口下的技能差异

📌 工作参考价值（4 点）

多语言搜索/推荐中，模型技能会在语言接口变化时退化；上线前应做跨语言自博弈或类似对抗评测，而不只看知识基准分。
如果业务需要多语言 Agent 决策，可固定中间推理语言（如统一用英文 CoT）并在输入层做语言映射，可能恢复部分性能；论文表明改变内部推理语言可提升决策质量。
自博弈离线评测成本低、控制变量好，适合持续回归跨境/多语言版本的策略模型；可复用 TextArena 思路构建电商谈判、广告竞价等最小决策游戏。
注意语言特有失败模式（空间推理、条件决策、最优 move 选择），对推荐解释或多语言文案生成可针对性加入语言校准和校验。

Eval | 2026-08-25 | HF Daily | score 7/10

Self-Play Meets Skill Evolution: Self-Evolving Search Agents that Pose, Solve, and Remember

自对弈与技能演化：自演化搜索智能体，能出题、求解并记忆

🧭 自演化技能记忆 · 搜索智能体训练

University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Sciences · Peking University · Mininglamp Technology · Tsinghua University

让技能记忆在工具增强的自对弈中与任务生成协同演化，失败案例蒸馏为可复用技能写回记忆

📌 工作参考价值（4 点）

技能记忆演化机制可构建「失败→技能」蒸馏闭环，在电商搜索/推荐中用于积累有效的查询改写模式、多跳推理路径。
技能存储为外部可检索库，训练时可融入模型参数，部署时灵活选择是否启用检索，类似 RAG 的离线在线解耦，适合需要低延迟的推荐场景。
自对弈出题+求解的设计可迁移到对话推荐或广告创意生成，让 challenger 产出多样化用户意图，solver 从技能库中检索最优策略。
协同演化使技能记忆不再是静态插件，而是改变策略学习和未来训练分布，这一思路可用来构建持续自进化的推荐策略库或用户模拟器。

Agent | 2026-07-31 | cs.AI | score 7/10

self-play skill memory search agent curriculum learning tool-augmented co-evolution

GPT-Red: Automated Red Teaming via Self-Play at Scale

GPT-Red：基于自博弈的大规模自动化红队代理

🧭 安全红队 · 自博弈对抗训练

OpenAI

训练自博弈红队代理自动发现提示注入攻击，对抗训练出最强鲁棒模型GPT-5.6

📌 工作参考价值（4 点）

对抗训练思想可迁移至推荐模型鲁棒性增强：对召回/排序模型注入对抗样本（如恶意特征序列）训练，提升生产系统抗干扰能力。
自博弈架构可借鉴于生成多样化攻击样本：类似用生成式对抗网络思路，在审核/风控模型中持续进化攻击模式，扩大覆盖。
红队代理作为自动评估工具：可构建面向推荐系统的“黑盒攻击代理”，在离线评估中压测模型边界，提前暴露盲区。
工程上，将红队发现的高危模式加入训练集形成闭环，可系统化提升模型版本迭代的安全性。

Agent | 2026-07-27 | HF Daily | score 7/10

red-teaming self-play prompt-injection adversarial-training RL security

From RLVR to RLSVR: Task Transformation Induces Self-Verifiable Rewards for Open-Ended LLM Self-Improvement

从 RLVR 到 RLSVR：通过任务变换为开放领域 LLM 引入自验证奖励

🧭 LLM 自我改进 · 自验证奖励 · 多智体博弈 ★ 深度解读

Duke University · Adobe Inc. · Oregon State University · Pennsylvania State University · Amazon

借用自监督学习的任务变换思想，将开放任务重构为基于信息不对称的自我博弈游戏，自动产生可验证训练奖励

📌 工作参考价值（4 点）

对缺少可靠奖励的生成式任务（如文案生成、对话推荐、创意内容），可通过设计信息不对称的多智能体游戏来生成监督信号，避免依赖外部奖励模型或人工评判。
交替优化策略：轮流更新“表演者”与“检测者”，防止策略停滞与奖励崩溃，可在自对弈场景中保持持续改进压力。
角色优势估计（RAE）：当不同角色面临不对称难度时，通过减去角色专项基线来校准优势，避免因角色固有偏差损伤策略，可迁移到有角色差异的合作/博弈训练中。
分组投票机制：多玩家集体决策比单一评判更鲁棒，可以借鉴到多模型投票评估或集成式的自监督反馈系统中。

Training | 2026-07-25 | HF Daily | score 8/10

RLVR self-play self-improvement multi-agent open-ended tasks reward engineering