03 2021 档案

3月30
摘要：#! /bin/sh base_dir=$(cd "$(dirname $0)"; pwd) export JAVA_HOME=/usr/java/jdk1.8.0_51 export PATH=/root/anaconda3/bin:/bin:/usr/lib64/qt-3.3/bin:/usr/ 阅读全文
posted @ 2021-03-30 11:03 Simon92 阅读(92) 评论(0) 推荐(0)
3月26
摘要：#!/bin/sh home=$(cd `dirname $0`;cd ..; pwd) .${home}/bin/common.sh hdfs dfs -mkdir -p {fsimage_detail_hdfs_path} hdfs dfs -rm -r ${fsimage_detail_hdf 阅读全文
posted @ 2021-03-26 21:26 Simon92 阅读(73) 评论(0) 推荐(0)
笔记2
摘要：Flink time时间： 1、eventing 2、Ingestime 3、processing time 处理乱序 watemark 1.Flink第一个入门程序 package com.djt.flink.batch; import org.apache.flink.api.common.fu 阅读全文
posted @ 2021-03-21 22:11 Simon92 阅读(93) 评论(0) 推荐(0)
笔记2
摘要：大数据公司业务高速发展过程中数据业务需求越来越复杂，所需要的算力也越来越大，进一步导致集群的规模越来越大，承担的产品也越来越多，集群面临资源负载过高、资源抢占严重、RPC请求负载过高等问题，存储系统也面临空文件过多、垃圾文件过多、小文件过多、平均文件大小过小、文件数持续增长等一系列问题，存储系统稳定 阅读全文
posted @ 2021-03-20 21:52 Simon92
1
摘要：优化前： 优化后： 小文件： 1）空文件； 2）小于10M的文件比例、小于50M的文件比例、小于100M的文件比例、小于200M的文件比例、小于1G的文件比例 3）小文件和空文件的所属用户、所属数据库、所属表、所属分区、所属其他目录 4）小文件增长根因 阅读全文
posted @ 2021-03-17 23:29 Simon92 阅读(75) 评论(0) 推荐(0)
3
摘要：3 阅读全文
posted @ 2021-03-13 09:23 Simon92 阅读(55) 评论(0) 推荐(0)
2
摘要：2 阅读全文
posted @ 2021-03-11 22:21 Simon92 阅读(42) 评论(0) 推荐(0)
1
摘要：Region >memstore列族 阅读全文
posted @ 2021-03-10 21:40 Simon92 阅读(48) 评论(0) 推荐(0)
3月9号
摘要：3月9号 阅读全文
posted @ 2021-03-09 21:02 Simon92 阅读(49) 评论(0) 推荐(0)
impala故障
摘要：今天碰到一个很奇怪的问题，impala查询34亿条数据报错，不过多亏网上有神仙相助，少了一个插件，具体原因有待思考，，，问题是原创的，解决方案是大神提供的 [cdh004:21000] > select count(*) from impala_100yi;Query: select count(* 阅读全文
posted @ 2021-03-08 17:34 Simon92 阅读(348) 评论(0) 推荐(0)
3月6
摘要：yarn application 命令： application master bin/yarn-session.sh -jm 1024m -tm 4096m hadoop classes export HADOOP_CLASSPATH='hadoop classpath' yarn logs -a 阅读全文
posted @ 2021-03-06 15:28 Simon92 阅读(129) 评论(0) 推荐(0)
3月4
摘要：3月4 阅读全文
posted @ 2021-03-04 14:53 Simon92 阅读(36) 评论(0) 推荐(0)
3月3
摘要：3月3 1、加载FSImage; 2、回放EditLog; 3、执行CheckPoing; 4、收集所有datanode的注册和数据块汇报；默认情况下，Namenode会保存两个FSImage文件，于此对应，也会保存对应两次 Checkpoing之后的所有EditLog文件。一般来说，Namenod 阅读全文
posted @ 2021-03-03 09:52 Simon92 阅读(94) 评论(0) 推荐(0)
3月2
摘要：3月2 [root@cbp1 ~]# sudo -u hdfs hdfs haadmin -getServiceState namenode63 active [root@cbp1 ~]# sudo -u hdfs hdfs haadmin -getServiceState namenode106 阅读全文
posted @ 2021-03-02 09:57 Simon92 阅读(69) 评论(0) 推荐(0)