Mechanist: AI as a Scientific Instrument for Discovering the Mechanisms of Intelligence
Mechanist：以AI为科学仪器自主发现智能机制的智能体系统
🧭 AI4Science · 机制可解释性智能体
Zhejiang University
用Agent+知识图谱+方法库自动发现AI模型机制，实现从解释到干预
📌 工作参考价值
- 将论文、内部实验构建成「机制知识图谱」，把模型行为、失败案例、分析方法、干预手段结构化沉淀，便于快速定位推荐模型 bias、表征问题或安全风险。
- 借鉴其 32 种方法库的思路，封装一套可复用的因果干预与验证工具（如 activation patching、logit lens 等），让团队能自动生成假设并跑小规模实验，而不是逐个人工排查。
- Agent 的“假设→实验→验证”闭环可用于生成式推荐/搜索的模型诊断，例如排查 Semantic ID 模型是否学到正确的概念层级、跨模态转移是否带偏风险。
- 从机制解释到行为控制（如引导模型生成指定属性输出）的思路，可用于将机制发现转化为可控的推荐策略或生成约束。
动机：AI 模型能力增长迅速，但其内部机制与潜在风险仍不透明；机制探索高度依赖人工，难以跟上自动化发展节奏，形成理解与控制的鸿沟。
方法关键点：Mechanist 是一个 agentic 系统，将 AI 本身作为科学仪器，自主完成机制假设生成、实验设计与验证。其支撑设施包括：
- 面向可解释性的知识图谱，覆盖约 13,000 篇论文；
- 融合 26 个领域、4300 万篇论文的多学科数据库，支持跨域迁移；
- 精选 32 种基础方法库，涵盖机制分析、因果干预与验证。
关键结果：
- 相比 Claude Code 与现有 AI-scientist 系统，Mechanist 生成的机制假设更有价值，实验执行更可靠。
- 展示从行为发现到解释再到控制的完整链路：发现训练数据看似安全时，不安全特质仍可跨模态转移；发展出 belief 机制理论，揭示模型如何表征世界知识、形成信念、推断他人信念及其在预训练中的演化；将机制洞察转化为实际干预，提升模型表现，并引导科学基础模型生成指定属性的 DNA 序列。