Towards a Deterministic Math Solver for Clinical Language Models
面向临床语言模型的确定性数学求解器
🧭 LLM 工具调用 · 代码执行器
MIT Critical Data · UNC Chapel Hill · University of Pavia · Humanitas University
Program-Solve 让 LLM 写 Python 交由受限执行器计算，32B 模型在 MedCalc-Bench 准确率从 83.47% 提升到 90.53%
📌 工作参考价值（4 点）
- 在电商/广告场景中，凡涉及数值计算（ROAS、LTV、预算分配、出价、统计显著性），不要让 LLM 直接做算术；改为让 LLM 生成 Python 片段，由受限沙箱执行，返回确定性结果。可参考 Program-Solve 的 prompt 设计：提供公式与变量字典，要求模型只写计算逻辑。
- 该方案对模型规模敏感：7B 提升 3.29 点但置信区间跨 0，32B 提升 7.05 点且显著。业务落地时如果用小模型，需要先验证代码生成质量，不能默认“加执行器一定好用”。
- 工程上可复用受限本地执行器的设计：限制 import 集合、单次超时、内存上限，并将公式/变量以 JSON 传入，避免 LLM 直接输出数字；在广告出价或推荐收益预估中同样可建立公式库作为受控资产。
- 论文提醒：公式版本和变量抽取是瓶颈，即使有 gold variables，7B 仍因代码 bug 或误解丢分。电商复用时应把业务规则（如优惠计算、佣金规则）维护为版本化配置，不依赖 LLM 记忆；变量抽取单独做，别和计算耦合。