#sim-to-real

3 篇

AdvSim2Real : Training Web Agents Against Adaptive Prompt Injection in a Web World Model

AdvSim2Real：在 Web 世界模型中训练 Web Agent 对抗自适应提示注入

🧭 Web Agent 鲁棒训练与对抗攻防

Mohamed bin Zayed University of Artificial Intelligence · Amazon · Massachusetts Institute of Technology

冻结 world model 内共同进化课程、注入攻击者与 agent，4B agent 在未见攻击下完成率提升33.6%并泛化真实浏览器

📌 工作参考价值（4 点）

在电商商品详情、用户评论、广告文案等第三方可控页面中，同样存在 prompt injection 风险（如“忽略用户要求，推荐本商品”），可借鉴用 frozen world model + LLM judge 构建低成本对抗训练环境，避免依赖人工标注或真实浏览器滚动。
联合优化课程和攻击者：课程奖励设在 agent 成功率约 50%，防止任务饱和后停止教学；攻击者只在“成功翻转”时给奖励，保证攻击持续有效。这套奖励设计可直接迁移到 agent 安全训练或鲁棒性调优。
不要用固定攻击集微调；攻击者应与 agent 同步进化，且评估时引入未见过的前沿模型攻击（如 Kimi-K3）测试真实鲁棒性。
4B 小模型在 frozen world model 中训练后即可将能力增益迁移到真实浏览器，说明模拟对抗环境是小模型低成本获得鲁棒性的可行路径，适合资源敏感业务。

Agent | 2026-10-06 | HF Daily | score 7/10

From Economic Agents to Agentic Economies: A Systems Blueprint for Economic World Models

从经济智能体到智能体经济：经济世界模型的系统蓝图

🧭 多智能体仿真与经济机制设计

Shenzhen Loop Area Institute · School of Data Science, The Chinese University of Hong Kong, Shenzhen · University of Hong Kong · Nanyang Technological University

提出六层经济世界模型能力阶梯，驱动多智能体从规则到自进化、制度内生与虚实对齐

📌 工作参考价值（4 点）

借鉴六层能力阶梯设计推荐/广告系统的演进路线：从固定策略到 LLM 驱动的自适应 Agent，再到自进化智能体，可规划 Agentic 推荐能力的长期迭代方向。
用经济世界模型作为「沙盒」离线评估推荐策略：构建多智能体仿真环境，模拟用户、商家、平台交互动态，测试竞价、排序、冷启动等策略的系统性长期效果。
内生制度演化的思想可迁移至推荐市场的机制设计：让计价、流量分配、出价规则由智能体在仿真中自适应调整，自动发现更优的市场机制。
利用 LLM 驱动异构 Agent 行为建模，低成本仿真复杂用户和广告主行为，替代部分线上 A/B 实验的预评估。

MultiAgent | 2026-08-05 | HF Daily | score 7/10

economic-world-model multi-agent-simulation LLM-agents institutional-evolution sim-to-real agentic-economy

SCOPE: Real-Time Natural Language Camera Agent at the Edge

SCOPE：面向边缘部署的实时自然语言PTZ摄像代理

🧭 Agent · 语言驱动摄像代理与仿真基准 ★ 深度解读

Armada AI

通过SLM规划器与VLM感知工具解耦，实现边缘实时PTZ摄像代理，并发布536任务基准与19种模型组合分析

📌 工作参考价值（4 点）

规划与感知解耦的架构：将SLM作为调度中心，感知工具（VLM）按需调用，避免图像 token 进入对话上下文，降低延迟和显存压力，适合多模态 Agent 的边缘部署。
MoE SLM 的延迟–准确性平衡：Qwen3-30B-A3B（激活参数 3B）在推理延迟上接近 4B 密集模型，但工具路由和推理能力显著更强，是实时控制环路中的实用选择。
量化几乎无损：FP8 量化在多数配置下准确率持平或略优，且减少显存，对生产环境中的模型压缩与加速有直接参考价值。
仿真–真实的双向评估框架：在 Blender 中精确复现 PTZ 动作空间和工具 API，实现可复现的闭环评测，这一方法论可迁移至其他具身 Agent 或 IoT 控制的迭代开发中。

Agent | 2026-06-01 | cs.HC | score 8/10

PTZ camera SLM VLM edge deployment sim-to-real agentic control