摘要：
当集群部署在阿里云或者腾讯云或者其他云上的时候，使用本地客户端访问会出现问题，解析的时候是内网地址，需要使用如下参数进行转换。 增加配置hdfs-site.xml 1 <configuration> 2 <property> 3 <name>dfs.client.use.datanode.hostn 阅读全文
摘要：
dolphin 1.6已经增加了企业微信的功能。 公司用的钉钉，那么增加功能到钉钉指定分组，可以针对分组将错误的任务或者被杀死的任务进行提示。 alert模块，增加配置： 1 enterprise.dingtalk.enable=true 2 enterprise.dingtalk.secret=钉 阅读全文
摘要：
1 import numpy as np 2 3 # 可以将python中list列表转换为Numpy数组 4 l = [1,2,3,4] 5 6 # Numpy数组 7 ndl = np.array(l) # 输入一部分，可以使用tab不全 8 print(ndl) 9 display(ndl) 阅读全文
摘要：
1、设置块大小 sc.hadoopConfiguration.setLong(fs.local.block.size,128x1024x1024) 2、读取csv 1 val schema = "name string, age int, job string" 2 val df3 = spark. 阅读全文
摘要：
连接方式 hive://hive:hive@ip:10000/default?auth=LDAP hive://hive@ip:10000/default hive://username:passwd@ip:port/db?auth=KERBEROS&kerberos_service_name=hi 阅读全文
摘要：
Error: Error while compiling statement: FAILED: SemanticException Line 1:23 Invalid path '"/root/testtt.dat"': No files matching path file:/root/testt 阅读全文
摘要：
dolphin scheduler 默认的swagger 端口：http://host:12345/dolphinscheduler/doc.html?language=zh_CH&lang=cn 阅读全文
摘要：
fatal: unable to access 'https://github.com/lidreamwind/mapreduce.git/': OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 10054 git config --global http.ssl 阅读全文
摘要：
<build> <plugins> <!-- 跳过测试代码--> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-surefire-plugin</artifactId> <configuration> < 阅读全文
摘要：
for i in yarn application -list | grep -w ACCEPTED | awk '{print $1}' | grep application_; do yarn application -kill $i; done 阅读全文
摘要：
以表的操作和单条记录的增删改查为基础。 批量操作，需要进行进一步封装。 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.clie 阅读全文
摘要：
useradd hive | echo hive | passwd --stdin hive 阅读全文
摘要：
系统redhat7.5，如下图所示： 大数据集群，Ambari2.7.5+HDP3.1.5。 当配置启用Kerberos(当使用系统包自带的kerberos)的时候，服务会启动不了，如下图所示。 点开具体错误如下所示： 查看日志如下所示，此处是重点： 原因，这是因为Redhat7.5默认的KDC版本 阅读全文
摘要：
服务启动失败： systemctl start network 需要查看：systemctl status NetworkManager 若其运行，则需要终止。 systemctl stop NetworkManager systemctl disable NetworkManager 硬件地址参考 阅读全文
摘要：
版本：ambari2.7.5 HDP3.1.5 hive 3.1.0 spark 2.3.0 配置spark-sql命令行方式处理Hive数据。 参考：https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.5/integrating-hive/con 阅读全文
摘要：
llap开启 设置llap_heap_size大小，，不能大于设置的Memory Per Daemon值 错误 阅读全文
摘要：
排序文件： 3,25,25,35,96,29,19,38,4方法一： 1 package spark.rdd 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 cla 阅读全文
摘要：
环境： Ambari 2.7.5 HDP 3.1 hadoop是3.1版本，hbase是2.0版本。 需要部署kylin，从官网下载。 一段操作，修改find-hive-conf-dir.sh、find-hadoop-conf-dir.sh和find-hbase-conf-dir.sh脚本，使之能够 阅读全文
摘要：
基础环境，Ambari2.7.5 +HDP 3.1 + Prestodb 0.245 当基于presto官网对connector进行配置，如下方式 connector.name=oracle connection-url=jdbc:oracle:thin:@example.net:1521/ORCL 阅读全文
摘要：
环境描述：ambari集群安装完成后，使用jass.conf和jass.properties使用kafka topic报错。 首先需要确保的是jass.conf的行末尾不能有空格，否则会报错：Failed to construct kafka producer. 报错kafka kerberos s 阅读全文