Multi-LCB: Extending LiveCodeBench to Multiple Programming Languages
Multi-LCB：将 LiveCodeBench 扩展至多编程语言的代码生成评估基准
🧭 多语言代码评估基准构建
GigaCode · Yandex School of Data Analysis, Applied AI Institute
将 LiveCodeBench 扩展到 12 种编程语言，揭示 LLM 跨语言代码生成的过拟合与污染问题
📌 工作参考价值（4 点）
- 多语言任务等价转换方法：通过翻译 Python 任务到其他语言并保持评估协议一致，可借鉴用于构建多语言推荐系统的等价测试集，例如将用户查询或物品描述转为多种语言，验证跨语言推荐的一致性。
- 模型过拟合检测：对比模型在 Python 与其他语言的性能差异，发现 Python 过度拟合；在推荐系统中，可通过类似手法分析模型是否过度依赖特定模态或高频特征，识别训练数据偏置。
- 污染感知评估设计：使用时间戳过滤任务，避免训练集污染，该机制可直接用于推荐基准的版本管理，确保评测的公平性和时效性。
- 多语言性能差距分析：暴露的多语言性能鸿沟提示在训练多模态 / 多语言推荐模型时，需平衡各语言的数据配比，并在评估中纳入多语言维度以指导模型优化。