鱼肉大数据

2016年12月4日

摘要：由于工作需要，用到Java连接Hbase读写数据。原来的方式是直接将依赖的jar包全部下载下来，然后工程里面引用。现想重构下，改为使用Maven管理，遇到了各种坑，各种不好使，特总结下。就是这么简单！！阅读全文

posted @ 2016-12-04 11:19 鱼肉大数据阅读(9301) 评论(0) 推荐(0) 编辑

2016年12月3日

摘要： Spark HA需要安装zookeeper，推荐稳定版3.4.6. 1.下载zookeeper3.4.6，2.配置环境变量3.创建data logs4.vi conf/zoo.cfg5 data目录中创建myid spark-env.sh 配置HA ： export SPARK_DAEMON_JAV 阅读全文

posted @ 2016-12-03 21:53 鱼肉大数据阅读(122) 评论(0) 推荐(0) 编辑

2016年12月1日

hive1.2.1实战操作电影大数据！

摘要：我采用的是网上的电影大数据，共有3个文件，movies.dat、user.dat、ratings.dat。分别有3000/6000和1百万数据，正好做实验。下面先介绍数据结构： RATINGS FILE DESCRIPTION All ratings are contained in the fi 阅读全文

posted @ 2016-12-01 22:12 鱼肉大数据阅读(1013) 评论(0) 推荐(0) 编辑

2016年11月19日

2016年9月11日，特殊的日子，开始大数据！

摘要：进入2016年，人生开始变得有些扑所迷离，职业也遇到了瓶颈，后半生该如何过，经过这半年的思考，逐渐清晰。大数据吧，是个个人都面临大数据，这个风口必须赶上了 spark hadoop zookeeper pig hive flume kafka 阅读全文

posted @ 2016-11-19 20:22 鱼肉大数据阅读(123) 评论(0) 推荐(0) 编辑

公告