随笔分类 -  hadoop

Hapoop 搭建 （十二）Hadoop集群启动 （zookeeper、HDFS、YARN、Hbase、Spark）
摘要：1、启动zookeeper集群 3个节点 sh /opt/modules/zookeeper-3.4.14/bin/zkServer.sh start [hadoop@centos01 ~]$ sh /opt/modules/zookeeper-3.4.14/bin/zkServer.sh star 阅读全文
posted @ 2020-04-20 15:29 桥头堡洗脚城 阅读(458) 评论(0) 推荐(0) 编辑
Hadoop 单机搭建 hive单机搭建
摘要：使用hive版本：apache-hive-2.3.6-bin.tar.gz 下载地址：http://www.apache.org/dyn/closer.cgi/hive 在安装前必须要先安装好hadoop环境，可参考：Hadoop 单机搭建 hadoop单机搭建 1、下载解压安装文件 tar -zx 阅读全文
posted @ 2020-04-20 15:28 桥头堡洗脚城 阅读(874) 评论(0) 推荐(0) 编辑
Hadoop 单机搭建 Phoenix安装
摘要：Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。 Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描， 阅读全文
posted @ 2020-03-28 21:40 桥头堡洗脚城 阅读(785) 评论(0) 推荐(0) 编辑
Hapoop 搭建 （十一）spark（HA）+Hbase（HA）+zookeeper+hadoop 集群
摘要：参考：https://blog.csdn.net/sunxiaoju/article/details/85918135 spark下载地址：http://spark.apache.org/downloads.html spark版本：spark-3.0.0-preview2-bin-hadoop2. 阅读全文
posted @ 2020-03-28 21:39 桥头堡洗脚城 阅读(268) 评论(0) 推荐(0) 编辑
Hapoop 搭建 （九）Hbase（HA）+zookeeper+hadoop 集群
摘要：Hapoop 搭建 （三）hadoop集群搭建 Hapoop 搭建 （五）搭建zookeeper集群环境 Hbase官网下载地址：https://hbase.apache.org 本案例使用：hbase-2.1.9-bin.tar.gz 3节点部署Hbase集群 一、上传并解压安装包 1、将hbas 阅读全文
posted @ 2020-03-27 13:52 桥头堡洗脚城 阅读(658) 评论(0) 推荐(0) 编辑
Hapoop 搭建 （八）YARN HA搭建
摘要：Hapoop 搭建 （三）hadoop集群搭建 Hapoop 搭建 （五）搭建zookeeper集群环境 Hapoop 搭建 （七）HDFS HA搭建 结构以及服务器角色 一、yarn-site.xml 文件配置 在centos01的hadoop安装目录的配置文件夹中 配置 yarn-site.xm 阅读全文
posted @ 2020-03-26 17:41 桥头堡洗脚城 阅读(194) 评论(0) 推荐(0) 编辑
Hadoop 单机搭建 Scala安装
摘要：下载地址：https://www.scala-lang.org/download/ Scala版本：scala-2.13.1.tar 1、下载安装 tar -xvf scala-2.13.1.tar -C /opt/modules/ 2、配置环境变量 修改 [hadoop@centos04 scal 阅读全文
posted @ 2020-03-21 01:08 桥头堡洗脚城 阅读(207) 评论(0) 推荐(0) 编辑
Hadoop 单机搭建 Hbase单机模式搭建
摘要：Hbase官网下载地址：https://hbase.apache.org 本案例使用：hbase-2.1.9-bin.tar.gz hbase-1.6.0-bin.tar.gz hbase-1.4.13-bin.tar.gz 一、上传并解压安装包 1、将hbase-2.1.9-bin.tar.gz文 阅读全文
posted @ 2020-03-19 17:34 桥头堡洗脚城 阅读(658) 评论(0) 推荐(0) 编辑
Hadoop 单机搭建 hadoop单机搭建
摘要：hadoop版本：hadoop-2.8.2.tar.gz 服务器已安装java 一、上传hadoop，并解压，先在centos01节点上操作 1、创建文件夹 /opt/software /opt/modules sudo mkdir /opt/software sudo mkdir /opt/mod 阅读全文
posted @ 2020-03-17 10:02 桥头堡洗脚城 阅读(542) 评论(0) 推荐(0) 编辑
Hapoop 搭建 （七）HDFS HA搭建
摘要：Hapoop 搭建 （三）hadoop集群搭建 Hapoop 搭建 （五）搭建zookeeper集群环境 本文是在hadoop搭建的基础上进行改造 先对之前三个节点的配置、数据进行备份 /opt/modules/hadoop-2.8.2/etc/hadoop 文件夹 /opt/modules/had 阅读全文
posted @ 2020-03-15 13:13 桥头堡洗脚城 阅读(309) 评论(0) 推荐(0) 编辑
Hapoop 搭建 （三）hadoop集群搭建
摘要：Hapoop 搭建 （一）设置虚拟机与主机同一个网段 Hapoop 搭建 （二）设置虚拟机SSH无密钥登陆 hadoop版本：hadoop-2.8.2.tar.gz 服务器已安装java 服务器已关闭防火墙 已创建用户hadoop，并赋予sudo权限，以下操作均已hadoop用户 虚拟机3台 192 阅读全文
posted @ 2020-03-15 10:09 桥头堡洗脚城 阅读(412) 评论(0) 推荐(0) 编辑
Hapoop 搭建 （五）搭建zookeeper集群环境
摘要：官网下载地址 http://zookeeper.apache.org/releases.html 本示例使用版本 zookeeper-3.4.14 部署3节点 192.168.0.171 ~ 173 注：zookeeper需要java环境才能运行 一、上传文件到服务器,并解压 tar -zxvf z 阅读全文
posted @ 2020-03-10 15:00 桥头堡洗脚城 阅读(273) 评论(0) 推荐(0) 编辑
Hapoop 搭建 （四）搭建后测试
摘要：Hapoop 搭建 （一）设置虚拟机与主机同一个网段 Hapoop 搭建 （二）设置虚拟机SSH无密钥登陆 Hapoop 搭建 （三）hadoop集群搭建 1、启动后查看 jps 2、网址访问 http://192.168.0.171:50070/dfshealth.html#tab-overvie 阅读全文
posted @ 2020-03-08 18:42 桥头堡洗脚城 阅读(197) 评论(0) 推荐(0) 编辑
Hapoop 搭建 （二）设置虚拟机SSH无密钥登陆
摘要：Hapoop 搭建 （一）设置虚拟机与主机同一个网段 一、将各个节点的公钥加入到同一个授权文件 1、在centos01中，生产密钥文件，并加公钥信息加入到授权文件 cd ~/.ssh/ #若没有此文件夹，先执行 ssh localhsot ssh-keygen -t rsa #生产密钥文件，会提示输 阅读全文
posted @ 2020-03-08 16:49 桥头堡洗脚城 阅读(438) 评论(0) 推荐(0) 编辑
Hapoop 搭建 （一）设置虚拟机与主机同一个网段
摘要：一、网络环境 虚拟机与主机在同一个网络中 3台虚拟机192.168.0.171，172，173 1、主机IP查看 ipconfig 主机：192.168.0.109 网关：192.168.0.106 2、设置vm虚拟网络编辑器 3、设置虚拟机 4、设置虚拟机固定IP vi /etc/sysconfi 阅读全文
posted @ 2020-03-08 16:09 桥头堡洗脚城 阅读(427) 评论(0) 推荐(0) 编辑
Hadoop HDFS命令行操作
摘要：1、列出所有命令 hdfs dfs -help 2、查看某个一个命令的详细 hdfs dfs -help -put 3、ls 查看HDFS系统中文件和目录，例如查看根目录 hdfs dfs -ls / 列出所有目录和文件 hdfs dfs -ls -R / 4、put 将本地文件上传道HDFS系统中 阅读全文
posted @ 2020-03-07 11:09 桥头堡洗脚城 阅读(534) 评论(0) 推荐(0) 编辑