摘要: 什么是Heron? Twitter使用Storm实时分析海量数据已经有好几年了,并在2011年将其开源。该项目稍后开始在Apache基金会孵化,并在2015年秋天成为顶级项目。Storm以季度为发布周期,并且向着人们期望的稳定版前进。但一直以来,Twitter都在致力于开发替代方案Heron,因为S 阅读全文
posted @ 2016-11-09 10:21 julyme 阅读(788) 评论(0) 推荐(0) 编辑
摘要: CentOS7的yum源中默认好像是没有mysql的。为了解决这个问题,我们要先下载mysql的repo源。 1. 下载mysql的repo源 2. 安装mysql-community-release-el7-5.noarch.rpm包 安装这个包后,会获得两个mysql的yum repo源:/et 阅读全文
posted @ 2016-10-17 14:24 julyme 阅读(49383) 评论(0) 推荐(4) 编辑
摘要: 查看MongoDB的最新版官方下载地址: https://www.mongodb.com/download-center#community 使用wget命令下载安装包 wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70 阅读全文
posted @ 2016-10-13 09:10 julyme 阅读(1456) 评论(0) 推荐(0) 编辑
摘要: 1. 安装 centos(我这里使用的是CentOS7)下yum命令即可方便的完成安装 测试安装是否成功: 2. 建立版本库 创建svn数据目录(subversion默认是把/var/svn作为数据根目录的,开机启动默认也是从这里): 创建版本库: 如果删除版本库: 3. 配置svn配置文件 每个版 阅读全文
posted @ 2016-10-13 08:55 julyme 阅读(615) 评论(0) 推荐(0) 编辑
摘要: 1、配置flume 二、配置kafka 1、创建一个topic 2、使用kafka的监控来查看 3、使用customer来查看收到的数据 个人博客地址:http://julyme.com 博文地址:http://julyme.com/c/ambari下的flume和kafka整合 阅读全文
posted @ 2016-07-11 16:09 julyme 阅读(3357) 评论(0) 推荐(0) 编辑
摘要: 本文针对redhat或者centos 对于测试集群,如果通过ambari安装Hadoop集群后,想重新再来一次的话,需要清理集群。 对于安装了很多hadoop组件的话,这个工作很繁琐。接下来是我整理的清理过程。 1,通过ambari将集群中的所用组件都关闭,如果关闭不了,直接kill -9 XXX 阅读全文
posted @ 2016-07-05 09:48 julyme 阅读(2791) 评论(1) 推荐(0) 编辑
摘要: 一、准备工作: 基本工具 [plain] view plain copy yum install pdsh [plain] view plain copy [plain] view plain copy 2、配置hosts vim /etc/hosts [plain] view plain copy 阅读全文
posted @ 2016-07-04 13:29 julyme 阅读(732) 评论(0) 推荐(0) 编辑
摘要: 一、安装JDK、Scala 二、安装zookeeper 三、安装Hadoop 四、安装Spark 1、修改spark/conf/spark-env.sh export JAVA_HOME=/usr/java/jdk1.8.0_65 export SCALA_HOME=/usr/scala-2.11. 阅读全文
posted @ 2016-07-01 10:43 julyme 阅读(323) 评论(0) 推荐(0) 编辑
摘要: 配置方案如下 1、配置zookeeper 略。 2.配置storm 配置conf/storm.yaml storm.zookeeper.servers: - "node1" - "node2" - "node3"storm.local.dir: "/opt/storm"supervisor.slot 阅读全文
posted @ 2016-04-22 10:19 julyme 阅读(2241) 评论(0) 推荐(0) 编辑
摘要: 1、报HDFS权限不够:org.apache.hadoop.security.AccessControlException: Permission denied:user=ouqiping, access=WRITE, inode="/user/Administrator/DatingRecomme 阅读全文
posted @ 2016-03-21 17:00 julyme 阅读(434) 评论(0) 推荐(0) 编辑