摘要：
1.将程序置为后台进程运行，关闭终端程序继续运行 2.列出当前后台运行的进程列表包括进程id 3.根据进程id杀掉该进程 阅读全文
摘要：
linux中启动或关闭应用有时候比较麻烦，你必须cd到该应用的可执行脚本的目录中再执行该脚本，不能在任意目录下开启或关闭应用。。当然，设置了环境变量path可以解决在任意目录下开启应用的问题，但是每个应用的启动或关闭应用脚本在命名上比较混乱，比如有的叫start-up.sh，用户尤其是运维人员要记住 阅读全文
摘要：
1.azkaban 启动：bin/azkaban-solo-start.sh或绝对路径方式执行azkaban-solo-start.sh脚本 关闭：bin/azkaban-solo-shutdown.sh 2.kafka 注意配置server.properties,此配置文件用来配置kafka服务器 阅读全文
摘要：
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。 阅读全文
摘要：
系统环境：centos7.5 64位系统 1.下载安装包 官网下载离线安装包：apache-flume-1.8.0-bin.tar.gz 也可以使用linux命令下载： 2.解压 解压压缩包并放至指定目录，我这里的完整目录是：/home/hadoop/runtime/apache-flume-1.8 阅读全文
摘要：
azkaban 是一个用Java开发的开源调度工具workflow。 下面介绍具体安装过程，我这里使用的版本是3.43.0，使用的是solo运行模式。 编译 当然也可以在官网下载离线安装包，解压进入azkaban根目录执行 配置 修改配置文件azkaban.properties，该文件位于/home 阅读全文
摘要：
执行start-dfs.sh后，datenode没有启动，很大一部分原因是因为在第一次格式化dfs后，启动并使用了hadoop，后来又重新执行了格式化命令（hdfs namenode -format)，这时主节点namenode的clusterID会重新生成，而从节点datanode的cluster 阅读全文
摘要：
总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。 1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分 阅读全文
摘要：
1、master上开启binlog日志，配置如下 一般mysql配置文件在目录/etc下，叫my.cnf (如果找不到的话也有可能在这些目录下：/etc/my.cnf，/etc/mysql/my.cnf，/usr/local/mysql/etc/my.cnf，~/.my.cnf) [mysqld] 阅读全文
摘要：
3台主机 192.168.30.207 Master 192.168.30.251 Node1 192.168.30.252 Node2 三台主机检查 ~/.ssh 文件夹，没有则新建 在master中执行如下命令： ssh-keygen -t rsa 一路按回车,最终生成（id_rsa,id_rs 阅读全文