摘要：背景 应用需要对两个集群中的同一目录下的HDFS文件个数和文件总大小进行比对，在测试环境中发现，即使两边HDFS目录下的数据不一样，应用日志显示两边始终比对一致，分下下来发现，应用连的一直是同一个集群。大数据集群：CDH6.2.1 定位分析 应用代码片段 Configuration mainconf 阅读全文

摘要：使用newAPIHadoopRDD接口访问hbase数据，网上有很多可以参考的例子，但是由于环境使用了kerberos安全加固，spark使用有kerberos认证的hbase，网上的参考资料不多，访问hbase时，有些需要注意的地方，这里简单记录下最后的实现方案以及实现过程中遇到的坑，博客有ker 阅读全文