摘要：目的：为了做数仓测试的自动化 所以需要查询hive的数据，如果直连hive那么查询会比较慢，presto特点是即席查询 相比直连hive快很多 首先先拿到认证文件和配置文件，因为使用Kerberos认证连接会需要 ./krb5.conf ./username.keytab prestokeystor 阅读全文

摘要：1.下载 下载地址 http://archive.apache.org/dist/kafka/2.7.2/?C=S;O=D kafka安装依赖JDK和zookeeper 但是单机版kafak集成了zookeeper 所以不需要单独安装zookeeper 2.解压包和创建目录 解压：tar zxvf 阅读全文

摘要：1.python安装客户端 pip3 install kazoo 2.创建节点 zk = KazooClient(hosts='ip:2181') zk.start() # 1.创建节点：makepath 设置为 True ，父节点不存在则创建 注意value类型是bytes str转bytes：s 阅读全文

摘要：1.安装地址https://downloads.apache.org/zookeeper/zookeeper-3.5.9/ 下载后mv重命名解压tar xvfz zookeeper-3.5.9.tar.gz 2.在conf目录下新增zoo.cfg文件或修改zoo_sample.cfg重命名为zoo. 阅读全文

摘要：一、常用聚合函数 count():计数 count(distinct 字段) 去重统计 sum():求合 avg():平均 max():最大值 min():最小值 二、hivesql执行顺序 from --> where --> group by --> having --> select--> o 阅读全文