花开月下机器人 时长偏差本质上是一种混淆偏差(Confounding Bias)
一、论文核心背景与问题提出
在视频推荐系统中,观看时长是衡量用户满意度和视频质量的关键指标,精准预测用户对视频的观看时长能够显著提升推荐效果与用户体验。然而,当前主流的观看时长预测模型普遍存在**时长偏差(Duration Bias)**问题:模型往往过度依赖视频本身的固有时长特征进行预测,而非基于用户对视频内容的真实兴趣。例如,长视频即便内容质量一般,模型也可能因时长特征预测出较长的观看时长;短视频即便内容极具吸引力,模型预测的观看时长也可能被低估。这种偏差会导致推荐系统陷入“长视频优先”的误区,既无法满足用户对优质短视频的需求,也不利于内容生态的多样性发展。
论文指出,时长偏差本质上是一种混淆偏差(Confounding Bias):视频时长作为混淆变量,同时影响模型的特征输入与最终的观看时长预测结果。现有模型大多将视频时长作为普通特征纳入训练,未对其混淆作用进行有效处理,进而导致模型学习到的是时长与观看时长的虚假关联,而非用户兴趣与观看时长的真实因果关系。
二、核心方法与技术路径
为解决时长偏差问题,论文提出了一套基于因果推断的去偏差框架,核心思路是通过混淆变量干预与因果效应建模,剥离视频时长对预测结果的不当影响,让模型聚焦于用户兴趣与观看时长的因果关联。具体技术路径分为三步:
1. 混淆变量识别与因果图构建
论文首先构建了视频推荐场景下的因果图(Causal Graph),明确变量间的因果关系:用户特征(如历史观看记录、兴趣标签)和视频内容特征(如题材、画质)是“因”,直接影响用户的观看时长(“果”);而视频时长是混淆变量,既与视频内容特征存在关联(如纪录片类视频通常时长较长),又会直接影响模型对观看时长的预测。通过因果图,清晰定位了时长偏差的产生路径——视频时长通过“后门路径”(视频时长→视频内容特征→观看时长)干扰模型的因果推断。
2. 基于倾向得分匹配的混淆变量干预
为阻断时长的后门路径,论文采用**倾向得分匹配(Propensity Score Matching, PSM)**方法对训练数据进行预处理。具体来说,先构建倾向得分模型,以视频时长为因变量,视频内容特征、用户特征为自变量,预测每个视频被分配到当前时长的概率;然后根据倾向得分,为每个长视频匹配具有相似内容特征和用户特征的短视频,形成“时长-内容-用户”三元组匹配数据集。通过这种方式,消除了时长与其他特征的相关性,使得在匹配数据集中,时长不再是混淆变量,模型能够更准确地学习用户兴趣与观看时长的真实关系。
3. 因果感知的观看时长预测模型
在预处理后的数据集基础上,论文提出了因果感知神经网络(Causal-Aware Neural Network, CANN)。该模型在传统推荐模型的基础上,引入了因果效应计算模块:一方面,模型通过用户特征与视频内容特征的交互,学习用户对视频的“兴趣潜在得分”;另一方面,通过匹配数据集中的时长差异,计算视频时长对观看时长的“直接因果效应”;最终将兴趣潜在得分与时长因果效应进行加权融合,得到去偏差后的观看时长预测结果。
三、实验验证与效果分析
论文在两个真实世界的视频推荐数据集(YouTube-8M和TikTok公开数据集)上进行了对比实验,将所提方法与传统的LR、GBDT以及深度学习模型(如Wide&Deep、DeepFM)进行对比,从预测精度、去偏差效果、推荐多样性三个维度进行评估:
1. 预测精度提升
实验结果显示,所提方法在MAE(平均绝对误差)和RMSE(均方根误差)指标上均显著优于基线模型,其中在YouTube-8M数据集上,MAE降低了12.3%,RMSE降低了10.7%。这表明去偏差处理后,模型能够更精准地预测用户的实际观看时长,减少了因时长偏差导致的预测误差。
2. 去偏差效果验证
论文通过“时长-预测时长”相关性分析验证去偏差效果:基线模型中,视频时长与预测时长的相关系数高达0.78,而所提方法将该系数降至0.21,说明模型对时长特征的依赖度显著降低,更多基于用户兴趣进行预测。此外,通过人工抽样评估发现,所提方法对优质短视频的观看时长预测准确率提升了35%,有效避免了“短视频低估”问题。
3. 推荐多样性优化
在推荐系统离线模拟实验中,所提方法推荐结果的内容多样性指标(如Gini系数、熵值)提升了22%,长视频与短视频的推荐占比从基线模型的7:3优化至5:5,既保证了用户对长视频的需求,也为优质短视频提供了更多曝光机会,促进了内容生态的均衡发展。
四、研究创新点与局限性
1. 创新点
视角创新:首次将时长偏差定义为混淆偏差,从因果推断视角系统分析了视频推荐中观看时长预测的偏差来源,为推荐系统去偏差研究提供了新的理论视角。
方法创新:提出了“预处理-建模”一体化的去偏差框架,将倾向得分匹配与因果感知神经网络相结合,既解决了数据层面的混淆问题,又实现了模型层面的因果效应建模。
应用价值:实验验证了方法在真实数据集上的有效性,能够直接落地到实际推荐系统中,提升推荐效果与用户体验。
2. 局限性
计算成本较高:倾向得分匹配需要对大规模数据集进行两两匹配,时间复杂度与空间复杂度较高,在实时推荐场景下的应用存在一定挑战。
特征假设较强:因果图的构建依赖于对变量间因果关系的先验假设,若实际场景中存在未被识别的混淆变量,模型的去偏差效果可能会受到影响。
五、研究启示与应用前景
该论文的研究成果为视频推荐系统的去偏差研究提供了重要参考,其核心启示在于:推荐系统模型不仅要学习数据中的统计关联,更要挖掘变量间的因果关系,才能避免因混淆变量导致的偏差问题。未来,该方法可从三个方向拓展应用:
多混淆变量扩展:将研究思路从单一的时长偏差拓展到多混淆变量场景(如视频热度、作者粉丝量等),构建更全面的去偏差框架。
实时推荐优化:针对倾向得分匹配的计算效率问题,研究基于在线学习的近似匹配方法,提升方法在实时推荐场景的适用性。
跨领域迁移:将因果推断去偏差的思路迁移到其他推荐场景(如电商商品推荐、新闻资讯推荐),解决类似的混淆偏差问题。