AI Papers Daily

#Meta-Learning

4 篇

High-Value Training Data from Noisy, Diverse Sources

从噪声、多样来源中学习高价值训练数据权重

🧭 训练数据加权 · 元梯度学习

Hiddenweights · Arena · UCLA · Stanford · CMU

用目标域小数据集元梯度优化训练样本权重，学得可泛化、可迁移的加权规则，提升奖励模型对噪声与合成数据的利用效率

📌 工作参考价值（4 点）

• 在电商/广告的 LLM 奖励模型或偏好对齐中，维护一个高质量目标域评测集（如人工标注的偏好对、业务 KPI 相关的判分），用元梯度自动学习每个训练样本的权重，替代手工噪声过滤规则，尤其适合点击日志、用户评论等噪声多样的数据。
• 参数化加权规则可以部署为流式数据选择器：对新到达的样本实时预测权重，做过滤或重采样，适合推荐系统的大规模 UGC、曝光点击日志等持续数据流，降低存储与训练成本。
• 合成数据与人工数据混合时不再依赖固定比例，而是学习每个样本的权重，让混合数据超过任一单独来源；可复用到生成式推荐的物品描述、query 改写、广告文案生成的合成数据利用场景。
• 先在小模型上学习数据权重规则，再迁移到更大模型，能显著降低大规模训练的数据清洗与调参成本，是一种工程上可行的 Data-Centric AI 方案。

Training | 2026-10-21 | stat.ML | score 6/10

Data WeightingMeta-LearningReward ModelingSynthetic DataDomain Adaptation

MetaCaster: Meta-Harness-Optimized Agent for End-to-End Few-Shot Learning of Lightweight Time Series Forecasters

元harness优化多智能体实现轻量时序预测器小样本训练

🧭 多智能体元优化 · 时间序列预测

University of Houston · NEC Labs · University of Waterloo · University of Connecticut · University of Illinois at Urbana-Champaign

用多智能体生成数据+元优化harness，从少量样本训练轻量时间序列预测器

📌 工作参考价值（4 点）

• 数据稀缺或隐私敏感场景（如新商品冷启动、低频事件预测），可借鉴多智能体数据生成：用 LLM agent 从少量真实样本+文本上下文合成训练数据，再训练轻量模型，避免直接依赖大模型在线推理。
• 将 LLM 定位为“离线工程师”而非在线预测器：在电商推荐中，可让 LLM 离线生成商品描述增强、用户兴趣特征或合成样本，训练轻量排序/CTR模型，保证线上低延迟和低成本。
• 多智能体分工（数据生成、过滤、评估）提升合成数据质量，该模式可迁移到推荐系统的数据增强 pipeline，通过多个 agent 协作筛选高质量样本。
• meta-harness 优化思想：把数据生成流程（prompt/工具调用）视为可学习对象，用元学习在多个任务上优化，使生成数据能最大程度提升下游模型效果，可类比推荐中的自动特征工程或数据增强策略搜索。

MultiAgent | 2026-08-24 | cs.LG | score 7/10

MultiAgentTime Series ForecastingFew-shot LearningLLMData GenerationMeta-Learning

Learning Preference Adaptation for Large Language Model Personalization via Verbal Reinforcement Learning

用语言强化学习把通用用户偏好适配到具体任务以提升 LLM 个性化

🧭 LLM 个性化 · 偏好适配 · 语言强化学习 ★ 深度解读

Software College, Northeastern University, China · Ant International

从少量样例中归纳文本重写策略，将冗长通用偏好压缩为紧凑任务相关表示，模型冻结全适配

📌 工作参考价值（4 点）

• 用户画像的任务级精炼：在搜索、推荐、广告等系统中，用户长期画像往往噪音大且与当前场景无关。可参考 AlignXada 的做法，用一个冻结的 LLM 作为重写器，按照少量历史问答样例归纳出一条文本策略，自动把原始画像压缩为仅保留当前任务关键证据的紧凑文本，再输入下游排序/生成模型，既能节省 token 又能避免无关信号干扰。
• 语言强化学习调优提示或检索策略：Verbal RL 不更新任何模型参数，只迭代修改策略文本，非常适合黑盒 LLM API 场景。在推荐解释、对话式推荐等应用里，可以仿照此法用自然语言反馈优化系统提示、检索改写规则等，低成本迭代出更有效的模板。
• Agent 记忆的动态重组优于简单检索：实验表明 RAG（BM25 检索相关块）虽然也能压缩，但会破坏偏好的整体连贯性，导致性能下降。在构建智能体长期记忆时，应当考虑用重组而非仅检索的方式为不同下游任务生成任务特定的记忆视图，例如在购物助手、客服 agent 中根据意图从完整记忆生成精简版上下文。
• 自适应采样改善反馈质量：策略优化时从支持集合中按“改善/退化/持续成功/持续失败”四类状态均匀采样，可提供更平衡的诊断信号，该方法可直接用于推荐系统里用少量样例调优提示词时的样例选择过程，提升策略的泛化性和稳定性。

LLM | 2026-08-10 | cs.CL | score 8/10

LLM PersonalizationVerbal Reinforcement LearningPreference AdaptationMeta-LearningTextual OptimizationTask-Specific Compression

Causal Foundation Models with Continuous Treatments

连续处理下的因果基础模型

🧭 因果基础模型 · 连续处理

首个面向连续处理的因果基础模型，通过元学习和上下文学习实现个体处理效应曲线的零样本预测

📌 工作参考价值（4 点）

• 电商中价格、折扣、广告预算等连续干预的因果效应估计，可借鉴该模型的元学习思路，预训练一个能快速适应新场景的基础模型，避免每次活动都从零建模。
• 利用合成数据生成丰富的因果训练集（类似论文的 prior over DGPs），可大幅降低真实业务标注成本，尤其适合干预变量连续且实验成本高的场景。
• Transformer 作为结构，以上下文学习方式直接输出个体处理效应曲线，相比传统的反事实预估模型，能更细粒度地刻画异质性，为个性化定价或补贴决策提供依据。
• 该模型展示的“摊销贝叶斯后验”思想，可启发我们在推荐系统中用统一的神经网络替代反复的 MCMC 推断，提升在线实验效率。

Other | 2026-05-14 | cs.LG | score 6/10

Causal InferenceFoundation ModelMeta-LearningIn-Context LearningContinuous TreatmentIndividual Treatment Effect