12 2019 档案

cdh 系统配置文件更新 error parsing conf core-site.xml
摘要：环境描述：redhat7.3 CDH5.15.1 采用parcels方式部署 报错描述：airflow调度程序，最近2周偶尔报错，报错类型有2类：1、无法初始化集群配置；2、读取配置权限问题 报错一： Launching Job 1 out of 1 Number of reduce tasks i 阅读全文
posted @ 2019-12-24 17:37 bioamin 阅读(6945) 评论(0) 推荐(0)
spark2.1消费kafka0.8的数据 Recevier && Direct
摘要：官网案例： http://spark.apache.org/docs/2.1.1/streaming-kafka-0-8-integration.html pom.xml依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>s 阅读全文
posted @ 2019-12-13 15:31 bioamin 阅读(366) 评论(0) 推荐(0)
spark2.3 消费kafka0.10数据
摘要：官网介绍 http://spark.apache.org/docs/2.3.0/streaming-kafka-0-10-integration.html#creating-a-direct-stream 案例pom.xml依赖 <dependency> <groupId>org.apache.sp 阅读全文
posted @ 2019-12-13 13:57 bioamin 阅读(741) 评论(0) 推荐(0)
hadoop3.x的HA解析
摘要：1.官网 https://hadoop.apache.org/docs/r3.1.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 2.namenode支持3个及3个以上的namenode，官方建议3个，journa 阅读全文
posted @ 2019-12-10 16:17 bioamin 阅读(849) 评论(0) 推荐(0)