PriCoRec:特征约束下隐私感知的云-端协同广告推荐框架
🧭 隐私感知云-端协同排序 ★ 深度解读
University College Dublin · Huawei Ireland Research Center
提出隐私感知云-端协同广告推荐框架,敏感特征留在端侧,以云预排序多样性正则和云指导轻量端模型兼顾效果与效率
📌 工作参考价值(4 点)
- 在隐私合规限制下无法云端使用用户画像时,可采用云-端分离级联:云端只用上下文/物品特征做粗排,端侧用完整敏感特征做精排;既满足数据不出端,又保留个性化能力。
- 粗排候选集质量直接决定端侧精排上限。可借鉴 DPP log-det 正则,在粗排训练损失中加入多样性项,缓解因特征受限导致的候选同质化;λ 建议 1e-3~1e-2,按验证集调节,可提升 Recall@100。
- 端侧模型不必复现云端大模型,可将云端粗排输出的相关性 logit 作为辅助特征输入端侧模型;端侧 embedding 维度 4、两层 PNN 即可取得显著提升,配合 FP16 存储和词表重映射能把模型控制在 7.7–29.4MB,推理延迟约 0.5–0.8ms。
- 训练粗排模型时,1:4 随机负采样 + BPR 成对损失是稳定有效的基础配置;若业务中用户敏感特征无法上云,可先按此框架拆分粗排和精排,再迭代优化多样性正则强度。
测量参数高效微调的容量:适配器到底写了多少比特?
🧭 PEFT 记忆容量与隐私泄露 ★ 深度解读
Carnegie Mellon University · Columbia University
通过压缩方法直接测量 LoRA 适配器的记忆容量,揭示容量取决于插入位置和基座结构,SFT 会记忆秘密而 RL 不会。
📌 工作参考价值(4 点)
- 适配器放置位置的选择:同一参数预算下,插入 MLP 的适配器存储的比特数约为注意力的两倍。在需要保护隐私的场景(如联邦学习、模型市场),将有泄露风险的适配器放在注意力模块可主动降低其存储容量。
- 隐私风险评估工具:论文提供了可复用的测量方法,能在训练前估算适配器的容量,并与待训练数据集的比特信息量对比,提前判断是否落入“全量记忆”区间,无需事后攻击。
- 强化学习优于监督微调:在必须共享模型但训练数据敏感时,用 GRPO 等可验证奖励的强化学习方法替代 SFT,几乎不记忆训练数据,特别适合 Agent 或推荐系统的用户交互训练。
- 参数数量 ≠ 隐私风险:适配器的泄露风险更多与写入的比特数相关,而非参数总量,因此监控模型存储的比特数比单纯限制秩更有效。
ViHoRec:质量控制越南酒店推荐数据集与冷启动基准
🧭 低资源推荐数据集构建 · 冷启动评估
Faculty of Information Technology, University of Science, Ho Chi Minh City · Vietnam National University, Ho Chi Minh City
贡献面向低资源越南语的酒店推荐数据集,通过跨平台对齐、质量控制和冷启动基准揭示稀疏数据下的难题
📌 工作参考价值(4 点)
- 跨平台实体对齐:电商/酒店业务涉及多数据源时,可借鉴论文的实体解析(Entity Resolution)方法,利用文本相似度与启发式规则统一不同来源的商品ID,构建统一交互。
- 冷启动策略选择:实验表明在极度稀疏、用户历史短的情况下,UserKNN优于BPR-MF等模型,提醒我们在新客/长尾场景下,基于邻域的协同过滤可能更稳定,可作为召回或兜底策略。
- 可复现的数据质量控制:论文采用可量化指标(如覆盖率、重复率、稀疏度)审计数据,而非人工清理,迁移到工业数据集构建时可设计类似的质量看板,确保数据迭代可追溯。
- 隐私合规发布:使用HMAC伪名化用户ID,既保护隐私又能维持可benchmark性,对于希望公开内部数据做学术合作的团队,提供了轻量级脱敏参考。
PrivacyAlign:LLM Agent 的情境化隐私对齐
🧭 Agent 情境隐私对齐与人类规范对齐
University of Waterloo · ServiceNow AI Research · McGill University · Mila – Quebec AI Institute
引入PrivacyAlign数据集和注释条件奖励建模,训练的小型开源Agent更符合人类隐私规范
📌 工作参考价值(4 点)
- 在电商Agent中防止泄露用户订单、地址等私密信息,可复刻该数据集的构建方法:收集实际泄露场景,进行多轮人工标注(包含解释),用于对齐训练与评测。
- 注释条件奖励建模:利用人类标注(标签+解释)为响应生成细粒度奖励,用于强化学习训练,可迁移到生成式推荐等任务中,避免模型输出敏感用户偏好。
- 用LLM裁判评估隐私行为时,通过条件化人类标注和解释作参考,能提高裁判的可靠性,这一技巧可直接嵌入业务自建的隐私评估流水线。
- 小模型(如Llama-3-8B)经过隐私对齐训练后,能在不牺牲通用能力下大幅提升隐私保护,证明业务场景可用较小自有模型微调实现合规。
LCGuard:多智能体系统中安全 KV 共享的隐通信守卫
🧭 多智能体安全隐通信优化
Rensselaer Polytechnic Institute · IBM Research
通过对抗训练学习 KV 缓存变换,在保持任务性能的同时降低多智能体隐通信中的敏感信息泄露
📌 工作参考价值(4 点)
- 在多智能体联合推理的电商或客服场景中,若不同 Agent 通过 KV 缓存共享中间推理状态,可借鉴 LCGuard 的对抗训练框架,在缓存传输前插入可学习的表示变换层,降低用户隐私泄露风险。
- 可以将敏感信息重构成功率作为一种可量化的隐私泄露指标,用于评估和监控分布式 Agent 系统内部的通信安全性。
- 对抗训练的分治策略(保留任务语义、压制敏感信息)可推广到其他需要交换隐向量的推荐或检索组件中,例如生成式推荐中的 Semantic ID 传递。
- 工程实现上,LCGuard 的变换模块轻量、可插拔,不改变原有 Agent 结构和推理流程,适合已有流水线的逐步升级。
从数量到价值:端侧RAG的偏好对齐记忆构建
🧭 偏好对齐的端侧记忆构建与检索 ★ 深度解读
Ulsan National Institute of Science and Technology (UNIST)
EPIC 框架通过筛选偏好相关数据并引导查询方向,在端侧实现 2404 倍内存压缩、20.17 个百分点的偏好遵循提升和 33 倍检索加速。
📌 工作参考价值(4 点)
- 选择性记忆构建:电商推荐系统可借鉴“只存偏好相关项”的思路,用用户偏好(如价格敏感、品牌偏好)过滤商品池,大幅缩减索引体积,同时保持推荐相关性。
- 偏好对齐的检索引导:在生成式推荐或对话 Agent 中,可在查询向量上叠加最匹配的偏好嵌入,增强检索结果与用户长期偏好的对齐,仅增加 0.18ms 延迟。
- 分级过滤流水线:先使用轻量 Embedding 相似度做粗筛,再用 LLM 细粒度验证,平衡效率与精度;可迁移到商品候选集的粗排-精排流程,节省模型推理成本。
- 偏好漂移适应:端侧流式场景下,偏好的动态增删不会破坏索引,可直接更新偏好嵌入并检索,适合 Agent 长时对话中的兴趣追踪与实时调整。