2019年8月3日
ambari 快速安装部署
摘要： OS：Linux CPU消耗大，要准备5G以上，不然集群启动不了（我自己给它配了8G，启动整个集群是没问题，要用的话估计不够） 一、准备工作： 1、关闭防火墙：sudo ufw disable/ 2、安装java：tar -zvxf jdk8u181-linux-x64-tar 3、配置java环境 阅读全文
posted @ 2019-08-03 21:58 不想长大呀呀呀呀 阅读(1946) 评论(0) 推荐(0) 编辑
zookeeper安装部署
摘要： 环境：Ubuntu16 -Linux （说明：这些是我参考别人经验的做的，然后根据我自己的实际情况做的调整，如果我有做的不好或者说感觉我有抄袭的，可以给我留言，该改正的我会改正的。先谢谢大家对我的监督。） 1 下载zookeeper安装包 2 解压缩 将zookeeper-3.4.5.tar.gz复 阅读全文
posted @ 2019-08-03 21:39 不想长大呀呀呀呀 阅读(370) 评论(1) 推荐(0) 编辑
2019年6月5日
Spark Streaming的实时词频和累加词频统计
摘要： （注：运行环境是Ubuntu16， pycharm） 1、 按时段统计：获取scoket端口传输的数据（英文数据即可，方便分词），统计各个时间段内每个单词出现的次数（每个时间段都分别统计，需要使用的关键的DStream成员函数：flatMap, map, reduceByKey）。 checkpoi 阅读全文
posted @ 2019-06-05 17:25 不想长大呀呀呀呀 阅读(1288) 评论(0) 推荐(0) 编辑
2019年5月8日
在Ubuntu里搭建spark环境
摘要： 注意：1.搭建环境：Ubuntu64位，Linux（也有Windows的，我还没空试） 2.一般的配置jdk、Scala等的路径环境是在/etc/profile里配置的，我自己搭建的时候发现我自己在profile配置环境会有问题，比如说：我配置了spark，source了profile，启动spar 阅读全文
posted @ 2019-05-08 19:17 不想长大呀呀呀呀 阅读(4342) 评论(1) 推荐(0) 编辑