基于Spark ALS算法的个性化推荐
今天来使用spark中的ALS算法做一个小推荐。需要数据的话可以点击查看初识sparklyr—电影数据分析，在文末点击阅读原文即可获取。
其实在R中还有一个包可以做推荐，那就是recommenderlab。如果数据量不大的时候可以使用recommenderlab包，之前也用该包做过电影评分预测模型。如果数据量较大还是推荐使用spark来进行计算。
在spark中包含了许多机器学习算法，其中就有一个推荐算法，即ALS。
ALS算法也就是协同过滤算法，它是基于矩阵分解的协同过滤，何为矩阵分解？就是把一个评分矩阵A分解为两个矩阵B,C。B*C=A。为什么要进行分解？那是因为矩阵A是一个稀疏矩阵，分解之后的B,C矩阵相对能稠密一点。使用该算法可以很方便的做一个推荐系统，核心代码只有三行。
一.读取数据
数据可以在初识sparklyr—电影数据分析文末点击阅读原文即可获取。
moviedata<-read.table("u.data",header = FALSE,sep = "\t")
这四列数据分别表示：用户id，电影id，评分，时间戳
head(moviedata)#
V1 V2 V3 V4
1 196 242 3 881250949
2 186 302 3 891717742
3 22 377 1 878887116
4 244 51 2 880606923
5 166 346 1 886397596
6 298 474 4 884182806
删除第四列
moviedata<-moviedata[,-4]
重命名列
colnames(moviedata)<-c("userid","itemid","rating")
连接到spark
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
二. 推荐
前面那些都是准备工作，现在就来实现推荐部分，真的只需三行代码。
1 保存到spark中
moviedataSpark<-copy_to(sc,moviedata,overwrite = TRUE )
2 建立模型
moviedata_model<-ml_als_factorization(moviedataSpark,rating_col="rating",
user_col="userid",item_col="itemid")
summary(moviedata_model)#此句是查看模型属性#每个用户推荐2个
3 生成推荐结果
movie_recommend<-ml_recommend(moviedata_model,type = c("items"),n=2)
movie_recommend
Source: table<sparklyr_tmp_9fd405a6463> [?? x 4]# Database: spark_connection
userid recommendations itemid rating
1 12 <list [2]> 1450 5.32
2 12 <list [2]> 113 5.17
3 13 <list [2]> 1643 5.59
4 13 <list [2]> 814 4.87
5 14 <list [2]> 1367 5.18
6 14 <list [2]> 1463 5.17
7 18 <list [2]> 1449 4.86
8 18 <list [2]> 1642 4.78
9 25 <list [2]> 1643 4.80
10 25 <list [2]> 1449 4.70
... with more rows
是不是三句代码就搞定了。没骗人吧。从结果可以看到给用户id为12的用户推荐的是1450和113.在这里ALS算法其他参数给的都是默认值，可以通过不断调整参数来优化我们的模型。
三.模型评估
模型生成之后需要对模型进行评估，我们可以使用RMSE方法进行模型计算评估，它的计算公式如下：
不过要在之前我们需要知道用户对电影的预测评分，然后根据预测评分和实际评分来计算出RMSE结果。获取预测评分可以使用transform方法，如果你想要更多的了解transform方法，可以打开：http://spark.apache.org/docs/latest/ml-collaborative-filtering.html进行查看官方文档说明。
评分预测
invoke用于调用java对象方法
movie_prediction<-moviedata_model$.jobj%>%invoke("transform",spark_dataframe(moviedataSpark))%>%collect()
movie_prediction
预测结果
A tibble: 100,000 x 4
userid itemid rating prediction
2 14 12 5 4.47
3 18 12 5 4.21
4 73 12 5 4.28
5 109 12 4 3.70
6 110 12 4 3.40
7 115 12 5 4.57
8 130 12 4 4.85
9 135 12 4 4.21
10 177 12 5 4.32
... with 99,990 more rows#模型评估
model_RMSE<-sqrt(mean((movie_prediction$rating-movie_prediction$prediction)^2))
在计算模型时，参数给的都是默认值，此时model_RMSE=0.7725977。该值越小，说明该模型越好。
现在修改参数，当把参数调整为：reg_param=0.05,max_iter = 20L,alpha=2
model_RMSE等于0.7123907.比默认时的值小了0.06，就这样通过不断优化调整参数来使得模型最优。
转载请注明：
作者：王亨
公众号：数据志
