大数据之路 - 随笔分类 - hefuhao

zookeeper学习

摘要：脚本--zookeeper开启停止 1.在/home/jiaoben/bin目录下写一个脚本 mkdir jioben mkdir bin 脚本命名zk.sh vim zk.sh 写入脚本内容 chmod 777 zk.sh 使脚本可以运行 2.配置环境变量 vim /etc/profile exp 阅读全文

posted @ 2021-08-17 19:00 hefuhao 阅读(47) 评论(0) 推荐(0)

hive学习

摘要：修改hive日志文件存放路径修改配置文件名称在conf目录下mv hive-log4j.properties.template hive-log4j.properties在hive根目录新建log存放目录：mkdir -p logs编辑hive-log4j.properties文件 dir改成刚刚阅读全文

posted @ 2021-08-16 15:53 hefuhao 阅读(30) 评论(0) 推荐(0)

flume学习

摘要：Logger组件：日志共分为5种级别(ON开,OFF关这两个不计算在内)，从高到底（从严重到轻微）排序为: 1.FATAL—严重的错误,可能会导致程序不能正常运行. 类似System.exit()，整个项目都不能运行 2.ERROR – 错误，影响程序的正常运行。类似当前线程挂了，但其它线程或组阅读全文

posted @ 2021-08-16 15:52 hefuhao 阅读(43) 评论(0) 推荐(0)

flume安装

摘要：1. 通过Xftp把.gz包上传到虚拟机 tar zxvf apache-flume-1.6.0-bin.tar.gz 重命名：mv apache-flume-1.6.0-bin flume 2.打开 vi /etc/profile 配置flume环境变量量添加#Flume export FLUM 阅读全文

posted @ 2021-08-11 18:54 hefuhao 阅读(32) 评论(0) 推荐(0)

hbase安装

摘要：搭建完全分布式集群 HBase集群建立在hadoop集群基础之上，所以在搭建HBase集群之前需要把Hadoop集群搭建起来，并且要考虑二者的兼容性软件版本：hbase-0.98.12.1-hadoop2-bin.tar.gz 3台机器IP：192.168.129.101(node1)、192.1 阅读全文

posted @ 2021-08-11 15:32 hefuhao 阅读(272) 评论(0) 推荐(0)

zookeeper安装

摘要：Zookeeper集群搭建在本文中Zookeeper节点个数（奇数）为3个。Zookeeper默认对外提供服务的端口号2181 。Zookeeper集群内部3个节点之间通信默认使用2888:3888 192.168.129.101 192.168.129.102 192.168.129.103 下阅读全文

posted @ 2021-08-11 15:10 hefuhao 阅读(195) 评论(0) 推荐(0)

CentOS6.5时间同步

摘要：1.ntp ntpdate 首先查看ntp服务端和ntpdate服务是否下载与安装 2.yum -y install ntp yum -y install ntpdate 安装ntp与ntpdate chkconfig 查看启动的系统服务 4.service ntpdate start chkcon 阅读全文

posted @ 2021-08-11 14:37 hefuhao 阅读(181) 评论(0) 推荐(0)

Mysql的安装，Hive的安装

摘要：CentOS6使用yum源 CentOS 6已经随着2020年11月的结束进入了EOL（Reaches End of Life），不过有一些老设备依然需要支持，CentOS官方也给这些还不想把CentOS6扔进垃圾堆的用户保留了最后一个版本的镜像，只是这个镜像不会再有更新了官方便在12月2日正式将阅读全文

posted @ 2021-08-11 14:08 hefuhao 阅读(148) 评论(0) 推荐(0)

完全分布式Hadoop的搭建

摘要：前提工作：克隆2台虚拟机完成后：新的2台虚拟机，请务必依次修改3台虚拟机的ip地址和主机名称【建议三台主机名称依次叫做：master、node1、node2 】上一篇博客（三台虚拟机都要开机） Hadoop2.6.0 的压缩包，这里我提供百度云，没有的可以进行下载链接：https://pan 阅读全文

posted @ 2021-08-11 14:04 hefuhao 阅读(414) 评论(0) 推荐(0)

虚拟机的克隆

摘要：1、安装vmware，务必以管理员身份运行操作系统(CentOS 6.5)的配置准备工作：虚拟机安装三台linux 本次测试是 centos 6.5，(三台虚拟机的系统时间保持一致) *安装jdk（在另外一个文档中） *克隆虚拟机 *在vmware设置-克隆（虚拟机要关机，jdk要配置好）选择阅读全文

posted @ 2021-08-11 13:56 hefuhao 阅读(451) 评论(0) 推荐(0)

Xshell和Xftp的下载与安装，配置JDK

摘要：在企业中，我们大多数是不会有界面化操作的，领导也不会直接给你账户的，我们需要自己从外部链接到Linux系统进行操作，对Linux系统的操作都在外部。比较常用的Xshell 这里我同样给出百度云链接：链接：https://pan.baidu.com/s/1yQDBB89Y7nuFrJHrhx_1C 阅读全文

posted @ 2021-08-11 13:55 hefuhao 阅读(996) 评论(0) 推荐(0)

VMware下载与安装，CentOS安装

摘要：一、VMware的下载与安装我这里安装的是Vmware14 根据经验，会有一小部分人的电脑可能会装不上14的版本，这里我给出（Vmware15和Vmware14）的百度云链接，但是教程我只给出14的安装教程，基本一样。（注意，如果下载的是15，破解码复制这个 YG5H2-ANZ0H-M8ERY- 阅读全文

posted @ 2021-08-11 13:47 hefuhao 阅读(518) 评论(0) 推荐(0)

hefuhao

随笔分类 - 大数据之路

公告