PolyGnosis 2.0: Enhancing LLM Reasoning via Agentic Harness Engineering for Polymarket and OSINT Insight Extraction
PolyGnosis 2.0：基于Agent工程提升LLM在预测市场与OSINT中的洞察推理
🧭 多智能体协作 · Harness 工程
The Chinese University of Hong Kong · Evolution AI Lab
通过可控消融实验量化多智能体反射、分治等 Harness 技术对推理准确率的效用，发现分治是关键，终端反射有害。
📌 工作参考价值
- 组件效益的消融方法论：论文对聚类、推理阶段的反射、工具调用、分治、CoT 进行了系统的 A/B 实验，并量化了准确率、延迟、成本的变化。在电商推荐场景中，也可以类似地逐层解剖多智能体流程，识别真正有效的组件，避免堆砌复杂架构却引入额外噪声。
- 分治策略防信息污染：实验证明全局上下文会导致跨主题干扰，准确率从 0.799 骤降至 0.447。对于电商场景中处理海量商品、类目、用户评论的多源信息聚合，强烈建议按类目或业务线进行物理切分，每个分片独立推理，再汇总结果。
- 警惕终端反思的过度修正：分析阶段加入反思后准确率从 0.799 降至 0.700，尤其在结构化特征（如鲸鱼质量）上误判严重。这启示我们在生成式推荐中，若上游 agent 已经取得较高准确率（~80%），引入二次反思可能因 “解释化” 偏差而覆盖原始正确判断，应严格限制反思的作用域（如仅用于聚类等结构对齐任务）。
- 可插拔的确定性验证器：大模型在“观点对齐”判断中存在严重的“共识偏差”，倾向于输出“consensus”，即使信号矛盾。在推荐解释生成或风控对齐等任务中，可借鉴此发现，在管线末端加入轻量级的规则验证模块，直接对比上游独立输出的结构化标签，强制驱逐叙事漂移。
动机 预测市场（如 Polymarket）价格富含群体智慧，但噪音极大，且仅反映参与者的局部偏见。单纯依靠 LLM 的内部推理难以捕捉跨市场、跨媒体的复杂因果链条，尤其难以识别“观点错配”——即市场情绪与全球媒体叙事之间的背离，这恰恰是高频交易中高 Alpha 信号的来源。本研究旨在探索不升级基础模型、仅通过“Harness Engineering”（反射循环、工具调用、分治、CoT）增强多智能体系统推理能力的可行边界。
方法关键点
- 四阶段管道架构：非智能体触发模块（实时捕获价格异动与鲸鱼交易）→ 聚类 Agent（将非结构化事件归类为统一主题）→ 关键词 Agent（驱动 GDELT 检索全球媒体事件与情感数据）→ 分析 Agent（综合市场信号、聚类结构、媒体情报，输出定向洞察）。
- 双实验设计：实验 1 聚焦聚类，对比直接基线、纯粹反射循环、反射+Google 搜索工具调用；实验 2 测试分析，对比全局上下文、分治（D&C）、D&C+CoT、D&C+CoT+反射。
- 数据集与基准：连续 5 天（2026.03.25–03.30）752 条 Polymarket 异动警报，由专业交易员手工标注聚类真值和四项分类标签（Polymarket 方向、鲸鱼质量、媒体方向、多空对齐）。严格采用时间隔离，禁止泄露测试集信息。
- 评价体系：准确率、多次运行一致性（pairwise cosine），端到端延迟、Token 消耗与成本。
关键结果
- 聚类阶段：纯净反射循环达到帕累托最优，ARI 从基线的 0.728 提升至 0.883，同时标准差最小（0.142）；引入搜索工具虽略加快收敛，但带来随机性，ARI 微降至 0.855，成本与延迟增加近 4 倍。
- 分析阶段：分治是唯一必需的结构性改进，全局上下文准确率仅 0.447，D&C 跃升至 0.799；额外叠加 CoT 几乎无增益（0.795），但 Token 消耗高出 45%；加入终端反思后准确率反降至 0.700，特别是对基于结构化数据的“鲸鱼质量”判断错误率飙高（从 0.823 跌至 0.682）。
- 系统偏差：所有配置在“Polymarket-媒体对齐”上均表现最差，且呈现稳定、可重复的共识偏见——即便两个方向明显相左，模型仍硬输出“共识”，表明叙事推理需引入确定性验证器予以对抗。
一句话核心启示 在多源异构信息融合的 Agent 系统中，结构化的分治是防干扰的基石，而未经约束的终端反思则可能成为逻辑漂移的放大器。