Collaborative Filtering with Temporal Dynamics------Yehuda Koren

  个体用户的喜好可能会随着时间有所改变,我们称之为concept drift(观念转移),推荐系统的一大任务就是出去暂时性的喜好的影响,而获取到用户长期喜好的features。concept drift包括新物品或新服务的出现(特定的节假日,季节性周期变化)---这些变化是群体性的变化(即大家都会有所转变);还有一些是各体性的变化(家庭结构的转变,用户的成长影响对电影,商品的喜好)---这些变化不能别建立在用户群级别上的模型所抓取。因此,我们旨在对每个用户建立concept drift模型,获取用户在时间轴上的行为转变。

  对每个用户建立模型,必然会产生行为数据少的问题(模型的建立仅基于当前用户行为数据),因此,抛弃或者分配低权重给古老的评分数据是不合适的,而需要在整个历史行为中提取出long-term(persistent signal),删除noise。

  以电影系统为例,以前用“3”表示不喜欢也不讨厌的用户,现在可能用“3”表示不喜欢了。另外,很多系统不能识别单设备多用户问题,简单的解决方案可能是用时间来划分使用者。

  Netflix数据集:从31 December,1999到31 December,2005,收集了480,000位用户在17,700部电影上超过100 million的评分记录,每部影片平均得到5,600条评分,每个用户平均给出208条评分。Netflix数据中的两个temporal effects:04年的时候平均评分从3.4上升到了3.6;随着电影年龄的增长,所获得的评分也在上升(老电影比新电影获得更高的评分):

  RMSE作为评分标准:RMSE上很小的进步对推荐系统top-N质量有很大的提升。

解决concept drift问题:

  1.instance selection:使用time-window(时间窗口),问题在于仅考虑窗口内的instances(且这些instances的significance都相同),同时抛弃了所有窗口外的  instances。

  2.instance weighting:估计instance的相关性给它一定的权重。使用时间衰减函数(time decay function),为过去的instances赋权。

  3.ensemble learning(集成学习):集成许多predictors,根据predictor与当前时间的相关性为predictor赋权(predictors that were more successful on recent instances get higher weights)。

 

principles: 

  1.需要一个能解释用户在整个时间轴上行为变化的模型,而不仅仅包括当前的行为。这是在每个时间片上提取signal,并且删除noise的基本条件。

  2.多种concepts变化需要捕捉,包括user-dependent,item-dependent,gradual以及sudden。

  3.essential to combine all those concepts within a single framework. This allows modeling interactions crossing users and items thereby identifying higher level patterns.

  4.不需要去推测用户未来可能的偏好(在稀疏数据下,这项工作很难),而是需要在历史数据中isolate persistent signal from transient noise。

 

4. TIME-AWARE FACTOR MODEL

  The baseline predictor:

  

  The factor model:

   

  完整的模型(包括隐式数据):

   

  we would not expect a significant temporal variation of item characteristics,More specifically, we identify the following effects: (1) user biases(bu) change over time; (2) Item biases (bi) change over time; (3)User preferences (pu) change over time.

4.2 Time changing baseline predictors

  baseline predictors中两个主要关联的时间因素为:1.item的popularity会随着时间改变;2.用户的平均评分会随着时间改变。新的模型baseline predictor:

  

  首先处理bi(t),由于我们不期望影片的bias会在短期内有很大的改变(不像用户一样),因此我们将整个时间片进行划分(小的时间片可以有更好的性能,大的时间片每个片内有更多的数据),以10周为一片,共划分为30片,对每个时间t,赋予一个Bin(t)(即1到30之间的整数),这样就可以把bi(t)分为static以及time changing两部分:

   

  对于bu(t),我们需要能够检测到短暂的temporal effect(用户bias可以在短时间内发生比较大的变化);另外,我们不期望将用户也像物品一样分片(因为没有足够的评分数据)。

  首先定义一个线性模型的时间偏移量函数,表示当前评分时间与平均评分时间之间的距离,如下(本文算法中β=0.4):

    

  给每个用户分配一个αu,因此得到一个模型(简单的线性模型,需要学习bu以及αu两个参数):

  

  另外提供一个曲线式模型:

  

  这个模型只能捕获到gradual concept drift,而Netflix数据集中,有些用户在特定日子的评分趋向同一个值,这可以被描述成用户当天的心情。因此,为了解决这种short lived effects,分配给每个用户每天一个参数bu,t,用于吸收day-specific variability。

  Notice that in some applications the basic primitive time unit to work with can be shorter or longer than a day. E.g., our notion of day can be exchanged with a notion of a user session.

  Netflix数据集中,每个用户平均在40天有过评分,因此user bias平均需要40个参数,加入到模型中:

  

  

  采用stochastic gradient descent学习参数(需要20-30个iterations,λ=0.01):

  

  

  下表比较各种不同的baseline predictors之间的性能(用户bias比物品bias时间偏移显著,day-specific variability影响最大):

  

  

 

  periodic effects:有些物品可能在特定季节或特定节日比较热门;电视节目在一天的不同时段热门度也不同(dayparting);用户可能在周末更加表现出购物的欲望等等。解决方法是可以分配一个参数给物品或用户,这样,原式变成(由于未找到影片推荐系统中的periodic effects,因此文章不采用):

  

  

  由于不同用户给出的评分标准不同,因此在bi(t)上添加一个参数(RMSE降至0.9555):

  

  

  cu是静态部分,cu,tday-specific variability。

  还未考虑用户与影片交互的部分,RMSE就已经降至0.9555,与Netflix自己的0.9514已经相差不多。

4.3 Time changing factor model

  用户的偏好会随着时间改变,类似公式(9),得出用户偏好转移公式(各参数的意思与公式(9)基本相同):

  

  将以上所有公式合并,就可得到最终的公式(timeSVD++,大约30次迭代后可以收敛):

  

  对比SVD,SVD++,timeSVD++三种算法,可以得到:

 

5. TEMPORAL DYNAMICS AT NEIGHBORHOODMODELS

  这部分是item-similarity随时间变化的模型,额外部分,暂时就这样了。

  

 

posted on 2014-09-04 15:46 AresZxj 阅读(...) 评论(...) 编辑 收藏

导航