bioamin

摘要： 环境：apache hadoop 2.7.2 、机器发生重启，集群异常关闭 现象：重启hdfs和yarn服务，底层namenode和datanode都没有报错，但是在namenode的web ui上报错 198.3.100.21:50070 NameNode is still loading. Re 阅读全文

摘要： 背景：cdh5.15.1 redhat7.3 habse的Resigion Server总是飘红，在cm的管理端界面爆出GC异常，随即Regision Server宕机。 最开始这种现象偶尔存在，调整habse Regision 的内存参数后可以缓解： 增大参数：HBase RegionServer 阅读全文

摘要： 1、背景： spark采用了stand alone模式，其中master基于zookeeper部署了高可用； zookeeper维护了当前的active master信息，以及所属worker信息 worker和active master进行通信 而spark的启动脚本SPARK_HOME/sbin 阅读全文

摘要： 环境描述：redhat7.3 CDH5.15.1 采用parcels方式部署 报错描述：airflow调度程序，最近2周偶尔报错，报错类型有2类：1、无法初始化集群配置；2、读取配置权限问题 报错一： Launching Job 1 out of 1 Number of reduce tasks i 阅读全文

摘要： 官网案例： http://spark.apache.org/docs/2.1.1/streaming-kafka-0-8-integration.html pom.xml依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>s 阅读全文

摘要： 官网介绍 http://spark.apache.org/docs/2.3.0/streaming-kafka-0-10-integration.html#creating-a-direct-stream 案例pom.xml依赖 <dependency> <groupId>org.apache.sp 阅读全文

摘要： 1.官网 https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 2.namenode支持3个及3个以上的namenode，官方建议3个，journa 阅读全文

摘要： 1.安装： 一、安装编译工具、依赖包 1.依赖 # 主要安装 pcre-devel Nginx 需要 $ yum -y install gcc gcc-c++ autoconf automake $ yum -y install zlib zlib-devel openssl openssl-dev 阅读全文

摘要： 部署telnet，防止ssh启动失败 1、关闭防火墙或者开放23端口 2、安装启动服务，并开启root访问 yum install -y telnet-server.x86_64 yum install -y telnet.x86_64 yum install -y xinetd.x86_64 sy 阅读全文

摘要： 在上一篇文章《kylin Unable to login, please check your username/password.》中，提到，如果cdh的配置文件发生了更新，而kylin没有重启，导致账户密码不对。 最近集群没有重启，依然出现账户名密码无法连接的情况，原来默认的管理员账户可以访问但 阅读全文