摘要：
有的时候我们想要对Source的数据做自定义... 阅读全文
posted @ 2019-11-20 17:58
liuge36
阅读(305)
评论(0)
推荐(0)
摘要：
一个Case引入：可以尝试写一写原始数据表是... 阅读全文
posted @ 2019-11-15 17:18
liuge36
阅读(182)
评论(0)
推荐(0)
摘要：
public class KylinDemo... 阅读全文
posted @ 2019-11-14 16:27
liuge36
阅读(98)
评论(0)
推荐(0)
摘要：
写在前面数据同步 是一个脏活，而且是个高风险... 阅读全文
posted @ 2019-11-12 17:18
liuge36
阅读(306)
评论(0)
推荐(0)
摘要：
在完成一个接口开发后，在交给测试工程师之前，... 阅读全文
posted @ 2019-11-08 11:43
liuge36
阅读(201)
评论(0)
推荐(0)
摘要：
1.Yarn 上面有哪几种资源调度策略？并且... 阅读全文
posted @ 2019-10-29 21:55
liuge36
阅读(103)
评论(0)
推荐(0)
摘要：
1 Zeppelin 介绍基于 Web网页 ... 阅读全文
posted @ 2019-10-29 20:57
liuge36
阅读(443)
评论(0)
推荐(0)
摘要：
基于Spark的电影推荐系统（推荐系统~7） 22/100 发布文章 liuge36 第四部分 推荐系统 实时推荐 本模块基于第4节得到的模型，开始为用户做实时推荐，推荐用户最有可能喜爱的5部电影。 说明几点 1.数据来源是 testData 测试集的数据。这里面的用户，可能存在于训练集中，也可能是 阅读全文
posted @ 2019-10-21 13:49
liuge36
阅读(1789)
评论(0)
推荐(0)
摘要：
第四部分 推荐系统 模型训练 本模块基于第3节 数据加工得到的训练集和测试集数据 做模型训练，最后得到一系列的模型，进而做 预测。 训练多个模型，取其中最好，即取RMSE(均方根误差)值最小的模型 说明几点 1.ALS 算法不需要自己实现，Spark MLlib 已经实现好了，可以自己 跟源码学习 阅读全文
posted @ 2019-10-21 13:49
liuge36
阅读(1278)
评论(0)
推荐(0)
摘要：
第四部分 推荐系统 数据ETL 本模块完成数据清洗，并将清洗后的数据load到Hive数据表里面去 前置准备： spark +hive 启动Hive metastore server [root@hadoop001 conf] nohup hive service metastore & [root 阅读全文
posted @ 2019-10-21 13:48
liuge36
阅读(1368)
评论(0)
推荐(1)
浙公网安备 33010602011771号