摘要：先把flume包上传并解压 给flume创建一个软链接 给flume配置环境变量 使环境变量生效 验证flume版本信息 然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_HOME 先用一个最简单的例子来测试一下程序环境是否正常 先在flume的conf目录下新 阅读全文

摘要：先在hive里面创建一个表 接下来创建数据文件 把本地的数据文件导入到hive表中 接下来把hdfs上的文件导入到hive表中 现在在hdfs上创建目录，并把本地文件上传到hdfs 在hive再创建一个表tt 把hdfs上的文件导入到hive的tt表里面 阅读全文

摘要：上传hive安装包并解压 给hive设置一个软链接 给hive配置环境变量 使环境变量生效 修改hive的配置文件 拷贝驱动mysql-connector-java-5.1.17.jar到 /opt/modules/hive/lib 这个是hive的配置文件初始情况 我们通过notepad++来连接 阅读全文

摘要：sudo yum install libaio # 安装依赖包 检查 MySQL 是否已安装 sudo yum list installed | grep mysql 也可以通过命令 rpm -qa|grep -i mysql 如果有，就先全部卸载，命令如下： sudo yum -y remove 阅读全文

摘要：先给每台机器安装ntp 利用xcall.sh脚步 在每台机器上都执行以下三条命令 阅读全文

摘要：在写一个mapreduce类之前先添加依赖包 新建一个WordCountMapper类 定义WordCountReducer类 定义WordCountRunner类 打成架包 把打包好的架包上传到集群 然后在集群上运行一个wordcount小案例 阅读全文

摘要：JAVA配置 JAVA_HOME=安装目录 PATH=%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin CLASSPATH=%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar 使用本地的maven环境 安装 Maven 之前要求先确 阅读全文

摘要：先创建一个脚步文件 对这个脚本进行编辑 给脚本赋予权限 执行脚本 把脚本移动到 /usr/local/bin/目录下 可以直接执行脚本 分别给node2 node3 node4 做一个软链接 这样就可以在node1节点上看到node2 node3 node4的jps状态了 通过编辑脚步来实现同时对多 阅读全文

摘要：-修改hadoop的配置文件 首先修改core-site.xml，添加以下内容 修改hdfs-site.xml 修改mapred-site.xml 修改yarn-site.xml 修改workers文件，把datanode的节点配置进来 修改hadoop-env.sh文件 接下来我们把node1节点 阅读全文

摘要：先创建目录 给目录赋予权限 其他3台机器也是一样的操作！！ 上传java安装包和hadoop安装包 解压jdk 配置jdk环境变量 使环境变量生效 接下来配置给每台机器配置免密码登录 添加以下语句。 另外三台机器也这样操作！！！！ 同时配置虚拟机与本地电脑的地址映射关系 添加以下语句 每台机器的各自 阅读全文

摘要：查看本地源 先删除本地所有源 下载源仓库文件,xxx.repo 是当前的库文件生效 命令：yum clean cache把原来的缓存清除 运行yum makecache生成缓存 命令：yum makecache 更新系统 命令：yum -y update 其他3台机器也是一样的操作。 给hadoop 阅读全文

摘要：选择上海时间 我们选择桌面版 选择手动配置分区 选择标准分区 修改主机名 开始安装 设置密码 设置用户名 接下来等待安装完 同样的操作再安装3台机器！！这里不多赘述。 安装完之后就重启 接下来给不同机器配置静态ip centos7静态ip的配置方法可以参考：https://www.cnblogs.c 阅读全文