导航

11 2020 档案

HDFS集群格式化踩过的坑

摘要：在Hadoop集群使用初期，我所遇到的问题如下： 1. 需要不定时的改动配置文件 2. 不止一次的格式化集群 3. 恢复之后datanode失效了 4. 时间超过了7天，日志消失，又导致集群崩坏 解决思路： 1. 首先格式化集群之前要确保集群的进程停掉 2. 删除每个节点hadoop下的 data 阅读全文

posted @ 2020-11-28 14:22 乔伊_413 阅读(663) 评论(0) 推荐(0)

安装Spark时遇见的坑

摘要：在安装独立部署模式中遇见的坑： 步骤一： 解压安装：tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /你的目标安装目录 #最好是从根目录跟踪 步骤二： 改文件名并修改配置文件： 注意：这里slaves中当时我的里面有一个localhost 没有注释，所以导致了M 阅读全文

posted @ 2020-11-28 10:34 乔伊_413 阅读(313) 评论(0) 推荐(0)

配置群起zookeeper的脚本所踩过的坑

摘要：脚本如下所示： #!/bin/bash case $1 in "start"){ for i in node01 node02 node03 do ssh $i "/export/servers/zookeeper-3.4.9/bin/zkServer.sh start" done };; "sto 阅读全文

posted @ 2020-11-20 21:33 乔伊_413 阅读(313) 评论(0) 推荐(0)

Hbase之Phoenix安装踩过的坑

摘要：1、下载文件： 选择对应的版本： https://downloads.apache.org/phoenix/ 安装前，HDFS集群Yarn集群和Zookeeper还有Hbase需要启动 2、上传至Linux系统并解压： #上传文件 rz # 我直接到了自己的安装软件目录，如果你没有进到目录，后面接上 阅读全文

posted @ 2020-11-19 09:35 乔伊_413 阅读(891) 评论(0) 推荐(0)

HDFS学习之路一

摘要：HDFS介绍 产生原因: 单机存储无法存储大量数据，需要跨机器存储，统一管理分布在集群上的文件系统。 概念: HDFS是一个分布式文件系统 , Apache Hadoop项目的一个子项目，Hadoop非常适合存储大型数据。（T级） 应用场景: 存储非常大的文件(大量小文件不适合存储),需要高吞吐量 阅读全文

posted @ 2020-11-11 13:33 乔伊_413 阅读(109) 评论(0) 推荐(0)

Linux分发文件xsync

摘要：在Linux集群中工作时,配置文件时需要分发文件的时候用scp比较耗时间; 此时需要编辑一个分发的shell脚本来分发文件. #!/bin/bash pcount=$# if [ $pcount -lt 1 ] then echo Not Enough Arguement! exit; fi # 这 阅读全文

posted @ 2020-11-10 11:10 乔伊_413 阅读(582) 评论(0) 推荐(0)