摘要：1、在haproxy机器上部署haproxy_exporter，haproxy_exporter可到官网下载。 启动脚本如下： [aiops@hadoop hadoop_exporter]$ more start_haproxy_exporter.sh ./haproxy_exporter --ha 阅读全文

摘要：1、下载修改的parcel包 2、使用压缩工具打开parcel、替换需要的jar包，改案例中替换和新增的jar如下： httpclient-4.5.6.jar parquet-format-2.5.0.jar 3、根据文件内容生成hash certutil -hashfile C:\Users\15 阅读全文

摘要：背景 1、许多Spark SQL用户都要求一种方法来控制Spark SQL中的输出文件数； 2、Scala/Java/Python代码中可以使用coalesce()和repartition()方法有效的控制Spark文件数量； 3、但用户需要在SparkSQL服务的SQL语句中使用提示； 4、建议在 阅读全文

摘要：一、此文章前提条件 1、两套集群都部署HDFS，并且正常使用； 2、两个集群分别采用HA模式； 3、两套集群分别为：68.91(A集群)和68.100(B集群)，配置68.91的viewFS访问68.100； 4、存储冷数据的集群若采用纠删码，CDH版本必须6.+。 二、修改HDFS配置 1、修改A 阅读全文