SocialPersona: Benchmarking Personalized Profiling and Response with Multimodal Social-Media Context
SocialPersona：多模态社交上下文个性化画像与应答基准
🧭 多模态用户理解与个性化评测
Harbin Institute of Technology
从真实社交媒体时间线推断用户偏好并用于对话，暴露MLLM细粒度兴趣与时间推理严重不足
📌 工作参考价值
- 从弱信号轨迹构建用户兴趣画像：可以从电商/内容平台的浏览、收藏、评论等多模态行为日志中，借鉴 SocialPersona 的半自动化流水线（单行为提取→跨行为聚合→时间衰减打分→LLM校准→人工抽检），低成本挖掘隐含的稳定与近期偏好，用于推荐与推送文案生成。
- 区分稳定兴趣与近期兴趣：推荐系统中可显式建模长、短期偏好，对“近期激活”的兴趣给更高时效权重，避免始终推荐过时内容，提升新鲜度。SOCIALPERSONA 的时间分箱和近期 90 天窗口设计可直接迁移为特征工程。
- 利用文本与视觉互补信号：实验显示文字提供主要偏好信号，图片描述补充隐式线索（如视觉场景、活动），两类模态叠加能使兴趣域激活 F1 从 0.503 升至 0.737。电商场景下可融合商品标题、评论文本和主图描述，提升用户兴趣识别的覆盖。
- 两阶段提取-摘要策略处理长序列：面对用户长期行为序列，可先提取关键交互（Top-K 代表性行为）再压缩为概要，既保留细粒度证据又缓解长上下文负担，比直接全量输入更利于强模型（如 GPT-5.4）提升 F1 至 0.375。
动机：现有个性化LLM评测主要测试模型是否记住对话中明确表达的偏好，但真实偏好常隐含在用户散落的多模态社交媒体行为中（文本、图片、时间）。SocialPersona 构造了首个基于真实用户时间线、要求模型从弱信号中推断“显性偏好”并用于个性化对话的基准，旨在衡量 MLLM 跨模态、长时序用户理解能力。
方法关键点
- 数据：收集171个普通用户（非名人、非营销号）近两年内最多200条帖子，平均每用户176.81帖、130.38张图，覆盖运动/户外、娱乐、游戏、饮食、旅行/城市探索、摄影/创作、宠物七大兴趣域。
- 金标画像构建：半自动流水线——Gemini-3-Flash做单帖兴趣抽取→跨帖聚合、去重→基于TF-IDF与时间分箱初步标记稳定/近期→Gemini-3.1-Pro校准→训练有素的标注员人工验证，最终获得2,597个偏好标签，稳定与近期兴趣明确分离，并附证据链接。
- 两项核心任务：①画像构建——根据完整时间线输出活跃域及细粒度兴趣标签；②个性化对话生成——在给定用户请求下，生成贴合其稳定或近期兴趣的推荐回应，评估兴趣覆盖度、具体性、流畅性。
- 模型与上下文策略：评测6款MLLM（含Gemini、GPT-5.4、Qwen系列），采用三种长上下文处理方式——直接全量输入、分块层次聚合、先提取关键帖再摘要合成。
关键结果
- 过度泛化严重：金标每活跃域平均3.4个标签，模型仅预测约1.5个，最高兴趣标签F1仅0.414（GPT-5.4层次化），细粒度召回普遍低下。
- 模态不对称：视觉显著的宠物、游戏域检测容易，文本分散的旅行、饮食域常被漏判为非活跃，域激活F1差距大。
- 近期兴趣盲区：所有模型近期F1远低于稳定F1，最佳值仅0.120（GPT-4o-mini），实际是模型随机分配标签，无真正时间推理。
- 画像-对话联动：画像质量越高，对话兴趣覆盖度越好（16/18个模型-设置对正相关），但糟糕的画像会严重拖累下游回应。