摘要：电影推荐系统-整体总结（五）实时推荐 一、Scala代码实现 1.自定义数据类--Model.scala package streamingRecommender /** * @Author : ASUS and xinrong * @Version : 2020/9/4 * 数据格式转换类 * 电
阅读全文
posted @ 2020-10-19 19:17
文章分类 - 大数据推荐项目
（Spark+Flume+【Zookeeper+Kafka】+MongoDB+Redis +ElasticSearch+Apache+Tomcat+Azkaban）
摘要：电影推荐系统-整体总结（四）离线推荐 一、Scala代码实现 1.自定义数据类--Model.scala package offlineRecommender /** * @Author : ASUS and xinrong * @Version : 2020/9/4 * 数据格式转换类 * 电影表
阅读全文
posted @ 2020-10-17 18:00
摘要：电影推荐系统-整体总结（三）离线统计 Scala代码实现 1.自定义数据类--Model.scala package staticRecommender /** * @Author : ASUS and xinrong * @Version : 2020/9/4 * 数据格式转换类 * 电影表 *
阅读全文
posted @ 2020-10-16 20:40
摘要：电影推荐系统-整体总结（二）加载数据（数据库+搜索服务器） 一、Scala代码实现 1.含有自定义数据类--Model.scala package test /** * @Author : ASUS and xinrong * @Version : 2020/9/4 * 数据格式转换类 * 电影表
阅读全文
posted @ 2020-10-16 16:34
摘要：电影推荐系统-整体总结（一）从整体上谈论此项目 一、推荐系统 推荐系统，推荐系统是信息过载所采用的措施，面对海量的数据信息，从中快速推荐出符合用户特点的物品。 二、该电影推荐系统整体架构 该电影推荐项目主要实现了关键电影指标的数据统计和电影的推荐功能。 1.其中，涉及到的几个重点框架包括： Spar
阅读全文
posted @ 2020-10-14 21:53
摘要：电影推荐系统-[实时推荐部分]（七）问题 1. 为什么接收电影评分数据既用Redis又用Flume？ Flume算的是现在的事实数据，redis算的则是历史数据。 2. 计算待选电影的推荐分数的时候，为什么要将“Rr-用户最近对电影r的评分userRecentlyRatings”和电影P最相似的K个
阅读全文
posted @ 2020-10-03 16:15
摘要：电影推荐系统-[实时推荐部分]（六）总结 （1）注意括号的类型 Map() .map{有嵌套语句}，如果内容单一就写.map() 一定要注意括号的类型！ （2）对于MongoDB的配置信息的表现形式 用Lazy值 Map() scala.collection.mutable.Map[String,A
阅读全文
posted @ 2020-09-28 11:39
摘要：电影推荐系统-[实时推荐部分]（五）Kafa Stream 注意：工作中，流式计算这部分用到Kafka Stream的概率不是很大。了解其作用就可以了。 关于Kafka Stream的代码看懂即可。 Kafka Stream简介 1）Kafka Stream 是Kafka的一个组件。装好Kafka之
阅读全文
posted @ 2020-09-28 11:32
摘要：电影推荐系统-[实时推荐部分]（四）Flume对接Kafka Flume主要就是配置文件 首先在flume下面创建一个目录： [root@tjx1 apache-flume-1.7.0-bin]# mkdir test_confs 然后将配置文件复制进去： [root@tjx1 test_confs
阅读全文
posted @ 2020-09-28 11:07
摘要：电影推荐系统-[实时推荐部分]（三）编写代码--实时推荐(4) 【编写Scala代码--计算待选电影的推荐优先级(就是实现那个公式)】 Scala代码： package streamingRecommender import com.mongodb.casbah import com.mongodb
阅读全文
posted @ 2020-09-27 19:18
摘要：电影推荐系统-[实时推荐部分]（三）编写代码--实时推荐(3) 【编写Scala代码--从Redis中获取当前最近的M次评分和最相似的K个电影】 package streamingRecommender import com.mongodb.casbah.commons.MongoDBObject
阅读全文
posted @ 2020-09-27 18:59
摘要：电影推荐系统-[实时推荐部分]（三）编写代码--实时推荐(2) 【编写Scala代码--先实现Kafka连接Spark Streaming】 package streamingRecommender import org.apache.kafka.common.serialization.Strin
阅读全文
posted @ 2020-09-27 18:43
摘要：电影推荐系统-[实时推荐部分]（三）编写代码--实时推荐(1) 新建Module：在recommender里面再新建一个Module: 然后新建包、新建类 添加Scala插件、粘贴log4j文件、将Java文件夹重命名成scala、粘贴上一个包offlineRecommonder里面的Model自定
阅读全文
posted @ 2020-09-27 18:24
摘要：电影推荐系统-[实时推荐部分]（三）编写代码--计算两个电影之间的余弦相似度 依然在离线推荐代码包的离线推荐算法类-offlineRecommender里完成，因为求电影的相似度矩阵需要用到之前求出的推荐的电影集合。 在原来的代码基础上再增添求计算电影相似度矩阵的部分： //5.计算电影相似度矩阵
阅读全文
posted @ 2020-09-24 19:20
摘要：电影推荐系统-[实时推荐部分]（二）余弦相似性算法 想到余弦公式，最基本计算方法就是初中的最简单的计算公式， 计算夹角θ的余弦定值公式为： 但是这个是只适用于直角三角形的,而在非直角三角形中,余弦定理的公式是
阅读全文
posted @ 2020-09-24 19:09
摘要：电影推荐系统-[实时推荐部分]（一） 1.对于实时推荐算法，主要有两点需求： （1）用户本次评分后、或最近几个评分后系统可以明显的更新推荐结果； （2）计算量不大，满足响应时间上的实时或者准实时要求； 2.实现的公式 公式公式每家公司可能会有出入。 取log是为了减小相应的影响，来是整个数据达到平衡
阅读全文
posted @ 2020-09-24 19:05
摘要：电影推荐系统-[离线推荐部分]（五）离线推荐总结 １）离线推荐算法－ALS实现过程图： 离线推荐算法实现代码参考：https://www.cnblogs.com/liuxinrong/articles/13702013.html ２）ALS优化实现（求解最优参数）过程图： ３）其它问题： （1）写程
阅读全文
posted @ 2020-09-23 18:03
摘要：电影推荐系统-[离线推荐部分]（四）【优化ALS】 ALS-(交替最小二乘法)算法是2008年以来，用的比较多的协同过滤算法。它已经集成到Spark的Mllib库中，使用起来比较方便。 从协同过滤的分类来说，ALS算法属于User-Item CF，也叫做混合CF。它同时考虑了User和Item两个方
阅读全文
posted @ 2020-09-22 09:37
摘要：电影推荐系统-[离线推荐部分]（三）启动MongoDB、连接Robo工具、运行程序 [root@tjx1 mongodb-linux-x86_64-rhel62-3.4.3]# ./bin/mongod -config ./data/mongodb.conf 再次查看工具Robo
阅读全文
posted @ 2020-09-20 20:28
摘要：电影推荐系统-[离线推荐部分]（二）写代码(4)【离线推荐整体代码展示】 自定义类： package offlineRecommender /** * @Author : ASUS and xinrong * @Version : 2020/9/4 * 数据格式转换类 * 电影表 * 1 * Toy
阅读全文
posted @ 2020-09-20 20:26
浙公网安备 33010602011771号