随笔分类 -  bigdata-hadoop

hadoop3.x-ec常用命令操作
摘要：一、EC原理 二、常用命令与对应解释 1.查看当前支持的EC策略 hdfs ec -listPolicies 2023-05-30 10:10:43,251 WARN util.NativeCodeLoader: Unable to load native-hadoop library for yo 阅读全文
posted @ 2023-05-30 14:43 新际航 阅读(605) 评论(0) 推荐(0)
hadoop balance工具平衡集群dfs存储及遇到异常Got error, status message Not able to receive block 1073959989 from /192.168.1.37:3004 because threads quota is exceeded
摘要：hadoop集群某个节点dfs存储比其他节点存储高时,一般会使用hadoop提供的balance(start-balancer.sh -threshold 10 )工具来移动高存储节点上的块到低存储节点上. 其中 -threshold 默认设置：10，参数取值范围：0-100，参数含义：判断集群是否 阅读全文
posted @ 2018-12-08 20:08 新际航 阅读(3053) 评论(0) 推荐(0)
hadoop-lzo 安装配置
摘要：在hive中要想使用lzo的格式,需要配置安装好lzo工具并且在hadoop的core-site.xml与mapred-site.xml中配置相应的配置 一、编译安装lzo与lzop 在集群的每一台主机上都需要编译安装！！！ 1.下载编译安装lzo文件 http://www.oberhumer.co 阅读全文
posted @ 2018-12-04 12:10 新际航 阅读(2553) 评论(0) 推荐(0)
hive对于lzo文件处理异常Caused by: java.io.IOException: Compressed length 842086665 exceeds max block size 67108864 (probably corrupt file)
摘要：hive查询lzo数据格式文件的表时,抛 Caused by: java.io.IOException: Compressed length 842086665 exceeds max block size 67108864 (probably corrupt file) 这类异常,如图: 这是由于 阅读全文
posted @ 2018-10-30 11:39 新际航 阅读(748) 评论(0) 推荐(0)
大数据-spark-hbase-hive等学习视频资料
摘要：不错的大数据spark学习资料，连接过期在评论区评论，再给你分享 链接：https://pan.baidu.com/s/1T3-Tzz6qXMuQ_lyGc_0xbQ 提取码：zofz 阅读全文
posted @ 2018-09-25 23:31 新际航 阅读(377) 评论(2) 推荐(0)
hadoop的safemode 安全模式
摘要：hadoop启动检查副本块数，就会进入safemode safemode的相关情况 虽然不能进行修改文件的操作，但是可以浏览目录结构、查看文件内容的。 在命令行下是可以控制安全模式的进入、退出和查看的。 命令 hadoop dfsadmin -safemode get 查看安全模式状态 命令 had 阅读全文
posted @ 2017-09-12 14:07 新际航 阅读(11270) 评论(0) 推荐(0)
hadoop Datanode Uuid unassigned
摘要：在配置hadoop的hdfs的时候,要首先格式化,然后才能启动,但是格式化的方式有的是不对出现Initialization failed for Block pool <registering> (Datanode Uuid unassigned) ,比如直接使用命令 这种方式貌似还停留在hadoo 阅读全文
posted @ 2017-07-13 09:22 新际航 阅读(3099) 评论(0) 推荐(0)
hadoop HA sshfen切换隔离时无法跳转ssh: bash: fuser: 未找到命令
摘要：在zkfc的日志里面，有一个warn：PATH=$PATH:/sbin:/usr/sbin fuser -v -k -n tcp 8090 via ssh: bash: fuser: 未找到命令原因是最小化安装centos的时候，没有fuser这个命令，导致无法fenceyum install ps 阅读全文
posted @ 2017-06-11 13:12 新际航 阅读(1176) 评论(0) 推荐(0)
hadoop 中balance 机制
摘要：Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。可见，保证HDFS中的数据平衡是非常重要的。 阅读全文
posted @ 2017-05-26 16:45 新际航 阅读(3684) 评论(0) 推荐(0)