摘要：
由于工作需要，用到Java连接Hbase读写数据。原来的方式是直接将依赖的jar包全部下载下来，然后工程里面引用。 现想重构下，改为使用Maven管理，遇到了各种坑，各种不好使，特总结下。 就是这么简单！！ 阅读全文
posted @ 2016-12-04 11:19
鱼肉大数据
阅读(9346)
评论(0)
推荐(0)
摘要：
Spark HA需要安装zookeeper，推荐稳定版3.4.6. 1.下载zookeeper3.4.6，2.配置环境变量3.创建data logs4.vi conf/zoo.cfg5 data目录中创建myid spark-env.sh 配置HA ： export SPARK_DAEMON_JAV 阅读全文
posted @ 2016-12-03 21:53
鱼肉大数据
阅读(133)
评论(0)
推荐(0)
摘要：
我采用的是网上的电影大数据，共有3个文件，movies.dat、user.dat、ratings.dat。分别有3000/6000和1百万数据，正好做实验。 下面先介绍数据结构： RATINGS FILE DESCRIPTION All ratings are contained in the fi 阅读全文
posted @ 2016-12-01 22:12
鱼肉大数据
阅读(1053)
评论(0)
推荐(0)
摘要：
进入2016年，人生开始变得有些扑所迷离，职业也遇到了瓶颈，后半生该如何过，经过这半年的思考，逐渐清晰。 大数据吧，是个个人都面临大数据，这个风口必须赶上了 spark hadoop zookeeper pig hive flume kafka 阅读全文
posted @ 2016-11-19 20:22
鱼肉大数据
阅读(134)
评论(0)
推荐(0)