摘要：1.HDFS 修复 问题描述：其他部门在yarn平台上跑spark 程序错误的生成了海量的不到100K的小文件，导致namenode压力过大，其中一个namenode宕机后，没有及时发现 使得edits文件大量积累，在namenode1宕机后，namenode2 随后在凌晨1点也宕机。 原因分析：N 阅读全文

摘要：SparkStreaming和KafKa结合报错！报错之前代码如下: 注意: 在14行 应该是 wordCounts.print() 报错原因 : 在使用Streaming 的时候需要触发如下方法 print否则出现如下的错误 修改后的代码如下: 但是在stackoverflow上看到 报这样的错误 阅读全文

摘要：其他的配置hive基本配置就不记录了！！ 1. 拷贝$HIVE_HOME/conf/hive-site.xml $SPARK_HOME/conf/2. 在$SPARK_HOME/conf/目录中，修改spark-env.sh，添加 export HIVE_HOME=/usr/local/apache 阅读全文