上一页 1 2 3 4 5 6 7 8 9 10 ··· 17 下一页
摘要: 1.azkaban 启动:bin/azkaban-solo-start.sh或绝对路径方式执行azkaban-solo-start.sh脚本 关闭:bin/azkaban-solo-shutdown.sh 2.kafka 注意配置server.properties,此配置文件用来配置kafka服务器 阅读全文
posted @ 2018-05-16 14:34 Franson 阅读(388) 评论(0) 推荐(0) 编辑
摘要: 在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程: 从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步,从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 阅读全文
posted @ 2018-04-27 18:14 Franson 阅读(1076) 评论(0) 推荐(0) 编辑
摘要: 系统环境:centos7.5 64位系统 1.下载安装包 官网下载离线安装包:apache-flume-1.8.0-bin.tar.gz 也可以使用linux命令下载: 2.解压 解压压缩包并放至指定目录,我这里的完整目录是:/home/hadoop/runtime/apache-flume-1.8 阅读全文
posted @ 2018-04-25 17:35 Franson 阅读(684) 评论(0) 推荐(0) 编辑
摘要: azkaban 是一个用Java开发的开源调度工具workflow。 下面介绍具体安装过程,我这里使用的版本是3.43.0,使用的是solo运行模式。 编译 当然也可以在官网下载离线安装包,解压进入azkaban根目录执行 配置 修改配置文件azkaban.properties,该文件位于/home 阅读全文
posted @ 2018-04-23 15:16 Franson 阅读(1040) 评论(0) 推荐(0) 编辑
摘要: 执行start-dfs.sh后,datenode没有启动,很大一部分原因是因为在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时主节点namenode的clusterID会重新生成,而从节点datanode的cluster 阅读全文
posted @ 2018-04-20 17:45 Franson 阅读(4846) 评论(0) 推荐(1) 编辑
摘要: 总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs、mapreduce等主从关系。 1、环境,3台CentOS7,64位,Hadoop2.7需要64位Linux,CentOS7 Minimal的ISO文件只有600M,操作系统十几分 阅读全文
posted @ 2018-04-19 11:13 Franson 阅读(257) 评论(0) 推荐(0) 编辑
摘要: 1、master上开启binlog日志,配置如下 一般mysql配置文件在目录/etc下,叫my.cnf (如果找不到的话也有可能在这些目录下:/etc/my.cnf,/etc/mysql/my.cnf,/usr/local/mysql/etc/my.cnf,~/.my.cnf) [mysqld] 阅读全文
posted @ 2018-03-30 17:00 Franson 阅读(427) 评论(0) 推荐(0) 编辑
摘要: 3台主机 192.168.30.207 Master 192.168.30.251 Node1 192.168.30.252 Node2 三台主机检查 ~/.ssh 文件夹,没有则新建 在master中执行如下命令: ssh-keygen -t rsa 一路按回车,最终生成(id_rsa,id_rs 阅读全文
posted @ 2018-03-29 15:09 Franson 阅读(1177) 评论(0) 推荐(0) 编辑
摘要: 多数情况下,我们使用maven管理多个子工程,在最后maven打包阶段将多个子工程聚合到一个jar或war包。单个子工程会有自己独立的资源配置文件,在打包的时候我们需要将其聚合在一起(各子工程中的配置文件名称不能重复)。下面提供两种方法: 1.使用maven-resources-plugin插件,下 阅读全文
posted @ 2018-03-19 18:20 Franson 阅读(3597) 评论(0) 推荐(1) 编辑
摘要: String baseUrl=request.getScheme()+"://"+request.getServerName()+":"+request.getServerPort+request.getContextPath()+"/"; 得到形如http://www.baidu.com:8080 阅读全文
posted @ 2018-03-08 13:34 Franson 阅读(8606) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 10 ··· 17 下一页