Wind_LPH

摘要： llap开启 设置llap_heap_size大小，，不能大于设置的Memory Per Daemon值 错误 阅读全文

摘要： 排序文件： 3,25,25,35,96,29,19,38,4方法一： 1 package spark.rdd 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 cla 阅读全文

摘要： 环境： Ambari 2.7.5 HDP 3.1 hadoop是3.1版本，hbase是2.0版本。 需要部署kylin，从官网下载。 一段操作，修改find-hive-conf-dir.sh、find-hadoop-conf-dir.sh和find-hbase-conf-dir.sh脚本，使之能够 阅读全文

摘要： 基础环境，Ambari2.7.5 +HDP 3.1 + Prestodb 0.245 当基于presto官网对connector进行配置，如下方式 connector.name=oracle connection-url=jdbc:oracle:thin:@example.net:1521/ORCL 阅读全文

摘要： 环境描述：ambari集群安装完成后，使用jass.conf和jass.properties使用kafka topic报错。 首先需要确保的是jass.conf的行末尾不能有空格，否则会报错：Failed to construct kafka producer. 报错kafka kerberos s 阅读全文

摘要： 创建用户 kadmin.local addprinc confluent@BIGDATA.COM 或 kadmin.local -q "addprinc confluent@BIGDATA.COM" 导出keytab文件 kadmin.local xst -k /etc/security/keyta 阅读全文

摘要： 基于上编zookeeper的Kerberos： 1、zookeeper的认证方式 可分为world，auth，digest，ip和super。 world表示任何人都可以连接 auth表示需要通过授权 digest是用户密码 2、添加用户并授权 setAcl /node digest:[userna 阅读全文

摘要： 集群以ambari安装的zookeeper为主。和kafka的Kerberos连接类似。 配置zookeeper_jaas.conf文件如下。 Client { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true 阅读全文

摘要： set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.dynamic.partition=true;set hive.auto.convert.join = true;set hive.mapjoin.smalltable.fil 阅读全文

摘要： 参考：https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.5/authentication-with-kerberos/content/kerberos_kafka_consuming_events_or_messages_from_kafka_o 阅读全文

摘要： 1、hive.mapred.mode=strict 对分区表进行查询必须设置where子句的分区条件 2、创建表引用HIve本身 create table parameter_example ( id string, name string, age int ) partitioned by (ye 阅读全文

摘要： 单节点的任务： #!/bin/bash # 指定目录con_home=/app/confluent-6.0.0 #命令提示usage="Usage: $0 (start|stop|status|restart)" if [ $# -lt 1 ]; then echo $usage exit 1fi 阅读全文

摘要： 对于shell的命令实时更新 import subprocess cmd = "你的shell命令" res = subprocess.Popen(shell, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT) for lin 阅读全文

摘要： 下载地址：https://www.anaconda.com/products/individual ，需要注册用户 配置安装bzip2 yum -y install bzip2 1、bash Anaconda3-2020.07-Linux-x86_64.sh 2、回车通过 3、配置环境变量 expo 阅读全文

摘要： Spark的体系结构如下图。基本认知入门。 数据接口访问层是第一层绿色部分，包含Spark Streming、Spark SQL、MLIB和GraphX。 数据核心处理是第二层橙色，主要包含Spark Core。 数据的存储集中在第三层天蓝色，以HDFS、Hive、S3等为主。 任务调度则集中在第四 阅读全文

摘要： 目录： 1、DF的创建 2、临时表 3、SQL查询 4、RDD到DF的转换 5、DF的API 简介 DataFrame是一种不可变的分布式数据集，数据被组织成指定的列。和数据库中的表类似。 以下的spark变量均由SparkSession创建。 1、DataFrame的创建 jsonDf = spa 阅读全文

摘要： RDD不仅是分布式的数据集合，更是Spark的核心。 RDD会跟踪应用每个块的所有转换(日志)，也就是说，当RDD的某个分区数据丢失时会根据日志进行重新计算。 RDD是无Schema的数据结构。 1、RDD的生成 RDD的生成有三种方式， 1) .parallelize() 集合生成 2）外部文件或 阅读全文

摘要： Spark的架构图 1、RDD(弹性分布式数据集) RDD是对象的分布式集合。 RDD以并行方式应用和记录数据转换 RDD也提供数据沿袭——以图形形式给出每个中间步骤的祖先树，当RDD的一个分区丢失，可以根据祖先树重建该分区。 RDD有两组操作，转换(transformation)和行动(actio 阅读全文

摘要： 简单版 特点是，无需借助任何第三方库。 # 加密和解密文件 # 字段内容以 ; 分割 class Crypt(): def __init__(self,line): self.line = line self.list=['','A','B','C','D','E','F','G','H','I', 阅读全文

摘要： SELECT pzrq,pzbh,pzlx,'example-1001','演示账套',id AS vou_id,subjcode,kmmc,zy,jfje,dfje,0,0, if(@pzrq = pz.pzrq AND @pzbh = pz.pzbh and @pzlx = pz.pzlx, @ 阅读全文