摘要：电影推荐系统-[离线推荐部分]（二）写代码(3)【将数据写入到MongoDB】 自定义数据类： package offlineRecommender /** * @Author : ASUS and xinrong * @Version : 2020/9/4 * 数据格式转换类 * 电影表 * 1
阅读全文
posted @ 2020-09-20 20:08
文章分类 - 大数据推荐项目
（Spark+Flume+【Zookeeper+Kafka】+MongoDB+Redis +ElasticSearch+Apache+Tomcat+Azkaban）
摘要：电影推荐系统-[离线推荐部分]（二）写代码（2）训练ALS（Alternatingleast squares）-交替最小二乘法模型 //3.训练ALS（Alternatingleast squares）-交替最小二乘法模型 /** * ALS模型需要4个参数 * 1）trainData-训练数据(训
阅读全文
posted @ 2020-09-20 19:59
摘要：电影推荐系统-[离线推荐部分]（二）写代码(1)【创建环境+获取数据】 package offlineRecommender import org.apache.spark.{SparkConf} import org.apache.spark.sql.SparkSession /** * @Aut
阅读全文
posted @ 2020-09-20 19:52
摘要：电影推荐系统-[离线推荐部分]（一）前期准备 1.新建子项目 2. 修改pom.xml配置文件 <properties> <mongodb-spark.version>2.0.0</mongodb-spark.version> <casbah.version>3.1.1</casbah.versio
阅读全文
posted @ 2020-09-20 19:35
摘要：电影推荐系统-协同过滤算法讲解 1.基于用户的 2.基于物品的
阅读全文
posted @ 2020-09-20 19:27
摘要：电影推荐系统-[离线统计部分]（二）创建Package、类+编写代码 3）按类别统计平均分最高的10个电影 （1）电影流程图 （2）求Top10的大致思路 平均分表 join 电影表 得到 电影表带平均分 带平均分的电影表 笛卡儿积 所有的类别 》 过滤掉不包含的类别 》group by 得到数据形
阅读全文
posted @ 2020-09-20 09:46
摘要：电影推荐系统-[离线统计部分]（二）创建Package、类+编写代码 统计近期（按月份）评分最多的电影 Scala代码： （1）实际实现类 //二、统计近期热门电影 def rateMoreRecently(spark:SparkSession)(implicit mongoConfig: Mong
阅读全文
posted @ 2020-09-20 09:16
摘要：电影推荐系统-[离线统计部分]（二）创建Package、类+编写代码 创建两个类-实际实现类、调用类 1）统计评分最多的电影 将上一个子项目（数据库+搜索服务器部分）中的Modle类拷贝过来 package staticRecommender /** * @Author : ASUS and xin
阅读全文
posted @ 2020-09-20 09:08
摘要：电影推荐系统-[离线统计部分]（一）前期准备 1.新建一个子项目 在recommender包里面新建一个项目 New-->Module 2.修改配置文件pom.xml 在这个新创建的子项目里修改pom.xml配置文件: <properties><mongodb-spark.version>2.0.0
阅读全文
posted @ 2020-09-20 08:37
摘要：电影推荐项目-协同过滤算法概要 协同过滤算法主要用于推荐系统，推荐系统是信息过载所采用的措施，面对海量的数据信息，从中快速推荐出符合用户特点的物品。
阅读全文
posted @ 2020-09-18 17:06
摘要：写代码（二）Scala代码实现（4）【将数据写入ES】 Scala代码 自定义类 package test /** * @Author : ASUS and xinrong * @Version : 2020/9/4 * 数据格式转换类 * 电影表 * 1 * Toy Story (1995) *
阅读全文
posted @ 2020-09-15 20:45
摘要：写代码（二）Scala代码实现（3）【ElasticSearch--将数据输入】 （1）合并记录过程举例解释： tags： 68,2174,music,1249808064 68,2174,weird,1249808102 68,8623,Steve Martin,1249808497 movies
阅读全文
posted @ 2020-09-15 20:17
摘要：写代码（二）Scala代码实现（2）【MongoDB--将初始化的数据导入到MongoDB】 （1）Scala代码： 自定义数据类 package test /** * @Author : ASUS and xinrong * @Version : 2020/9/4 * 数据格式转换类 * 电影表
阅读全文
posted @ 2020-09-15 16:49
摘要：写代码（二）Scala代码实现（1）【Spark SQL--加载数据】 1）Spark SQL--加载数据 （1）DataLoader类： package test import org.apache.spark.SparkConf import org.apache.spark.sql.Spark
阅读全文
posted @ 2020-09-15 16:08
摘要：写代码（一）创建类+数据形态展示 1.创建类： 2.数据形态展示： （1）关于电影的基本信息 （2）关于打分 （3）关于打标签（eg:恐怖片、喜剧片、...）
阅读全文
posted @ 2020-09-15 10:18
摘要：加入log4j文件到Resource、添加Scala插件 添加log4j.properties文件，内容为： log4j.rootLogger=info, stdoutlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.append
阅读全文
posted @ 2020-09-15 09:59
摘要：电影推荐系统-项目搭建之Maven（二）添加依赖 1）父项目中引入公共的依赖 <!--声明公用的属性配置 --> <properties> <log4j.version>1.2.17</log4j.version> <slf4j.version>1.7.22</slf4j.version> <sca
阅读全文
posted @ 2020-09-15 09:53
摘要：电影推荐系统-项目搭建之Maven（一）创建父子项目 1.创建Maven父项目： 1）父项目名称： 2）修改Maven 3）点击右下角蓝色标签--自动导入依赖选项 4）修改pom.xml文件使其成为父项目 5）删除src文件夹 2.创建子项目-1 新建一个maven 然后再设置子项目名称和存放的位置
阅读全文
posted @ 2020-09-14 21:32
摘要：电影推荐系统-环境搭建（十） 安装Tomcat-综合业务服务 1）解压压缩包 [root@tjx1 local]# tar -zxvf tars/apache-tomcat-8.5.23.tar.gz -C ./ [root@tjx1 local]# cd apache-tomcat-8.5.23/
阅读全文
posted @ 2020-09-02 11:16
摘要：电影推荐系统-环境搭建（九） 安装Apache-用户可视化(实现前后端分离) 1）安装Apache [root@tjx1 kafka_2.12-0.10.2.1]# yum install httpd 2）启动Apache [root@tjx1 kafka_2.12-0.10.2.1]# servi
阅读全文
posted @ 2020-09-02 11:13
浙公网安备 33010602011771号