10 2018 档案

hive 自定义函数
摘要：1.编写java类,继承UDF,注意方法名需要覆盖evaluate方法.之前测试时发现方法名可以任意,后来发现还是不行,所以还是用evalute这个方法名吧 2.打成jar包上传到linux上 3,启动hive后进行关联 add jar /opt/module/data/jar/test.jar; 阅读全文
posted @ 2018-10-30 22:13 tele 阅读(3366) 评论(0) 推荐(0)
hive 导出数据的几种方式
摘要：1.使用insert导出 这种方式的优点在于既可以导出到hdfs上还可以导出到本地目录 下面以导出emp表中数据为例 insert overwrite local directory "/opt/module/data/export/emp" 如果去除local,则是导出到hdfs上 row for 阅读全文
posted @ 2018-10-27 14:44 tele 阅读(1494) 评论(0) 推荐(0)
hive 分区表与数据产生关联的三种方式
摘要：所谓关联,可以理解为能够使用select查询到 1.load 这是最常用的一种方式 load data [local] inpath "数据路径" into table table_name partition(分区字段) 使用load加载数据会自动创建分区的,这样你加载的数据就会和分区表进行关联, 阅读全文
posted @ 2018-10-22 12:58 tele 阅读(1932) 评论(0) 推荐(0)
hive 日志配置/表头配置
摘要：1.日志配置,拷贝hive/conf下的hive-log4j2.properties.template为hive-log4j2.properties,修改日志目录,接下来在创建hive/logs,目录即可 2.表头配置,在hive-site,xml中增加如下属性 重启hive即可 阅读全文
posted @ 2018-10-18 21:18 tele 阅读(1493) 评论(0) 推荐(0)
hive 3.1.0 安装配置
摘要：环境: hadoop 3.1.1 hive 3.1.0 mysql 8.0.11 安装前准备: 准备好mysql-connector-java-8.0.12.jar驱动包 上传hive的tar包并解压 第一步: 进入hive/conf,拷贝hive-env.sh.template 为hive-env 阅读全文
posted @ 2018-10-17 20:39 tele 阅读(3692) 评论(0) 推荐(0)
zookeeper 客户端操作
摘要：代码 maven 阅读全文
posted @ 2018-10-15 19:20 tele 阅读(177) 评论(0) 推荐(0)
zookeeper 半数可用/选举机制
摘要：1.半数可用机制,半数可用指的是zk集群中一半以上的机器正常时集群才能正常工作 已经启动了hadoop002(follower),hadoop003(leader) 下面停止hadoop002 在hadoop003上查看zk状态发现已经不能提供服务,因为2的半数以上至少是2,1不满足条件 2.选举机 阅读全文
posted @ 2018-10-15 13:55 tele 阅读(2420) 评论(0) 推荐(0)
zookeeper 分布式安装/配置/启动
摘要：版本3.4.10,已提前配置好jdk 三台主机:hadoop002,hadoop003.hadoop004 1.配置 将zookeeper-3.4.10.tar.gz解压后进入zookeeper-3.4.10/conf,将zoo_sample.cfg改名为zoo.cfg,编辑zoo.cfg tick 阅读全文
posted @ 2018-10-15 13:31 tele 阅读(213) 评论(0) 推荐(0)