摘要: es 写入数据的工作原理是什么啊?es 查询数据的工作原理是什么啊?底层的 lucene 介绍一下呗?倒排索引了解吗? es 写数据过程 客户端选择一个 node 发送请求过去,这个 node 就是 coordinating node(协调节点)。 coordinating node 对 docum 阅读全文
posted @ 2019-03-31 12:47 新际航 阅读(3774) 评论(0) 推荐(0) 编辑
摘要: 当spark跑在yarn上时 单个executor执行时,数据量过大时会导致executor的memory不足而使得rdd 最后lost,最终导致任务执行失败 其中会抛出如图异常信息 如图中异常所示 对应解决方法可以加上对应的参数调优(这个配置可以在总的处理数据量在几百TB或者1~3PB级别的数据处 阅读全文
posted @ 2019-02-28 14:23 新际航 阅读(2781) 评论(0) 推荐(0) 编辑
摘要: oozie:4.3.1 hadoop 2.7.6 hive编译使用2.0.0参与编译不通过,但是可以指定为1.2.0,编译可以通过,后期不使用hive的action即可(也可以使用,但是可能会出现异常情况,大部分还是可以执行正常) 0、安装maven是前提(ps:这个简单,下载,解压,配置环境变量, 阅读全文
posted @ 2019-01-24 17:03 新际航 阅读(699) 评论(0) 推荐(0) 编辑
摘要: 获取当天日期 一: 二: 获取其他日期及其时间只需要修改timedelta里的参数即可往前推是负- 往后推是正+: 可选参数: datetime.timedelta(days=0, seconds=0, microseconds=0#毫秒, milliseconds=0, minutes=0, ho 阅读全文
posted @ 2019-01-07 21:20 新际航 阅读(7826) 评论(0) 推荐(0) 编辑
摘要: 一般使用linux原生态的命令curl上传文件时命令如下 假如要上传文件是myfile.txt 其中file_name是接收的key 后面的myfile.txt是要上传的文件,在=后面加上@符号表示要上传的是文件 如果要单独上传参数则是 要同时上传文件与参数,则需要将参数分开一次指定,如下: 有多少 阅读全文
posted @ 2019-01-04 18:09 新际航 阅读(8499) 评论(0) 推荐(1) 编辑
摘要: 当insert数据到有分区的hive表里时若不明显指定分区会抛出异常 当指定分区后又会有非严格模式异常 此时依据错误提示set好非严格模式即可 阅读全文
posted @ 2018-12-18 20:56 新际航 阅读(5282) 评论(0) 推荐(0) 编辑
摘要: hive表在创建时候指定存储格式 当insert数据到表时抛出异常 此时查看表结构 可以看到SerDe Library 的格式是LazySimpleSerDe,序列化格式不是orc的,所以抛出异常 这里将表的序列化方式修改为orc即可 再看序列化格式已经是orc,使用insert(insert ov 阅读全文
posted @ 2018-12-18 16:12 新际航 阅读(4223) 评论(0) 推荐(1) 编辑
摘要: hadoop集群某个节点dfs存储比其他节点存储高时,一般会使用hadoop提供的balance(start-balancer.sh -threshold 10 )工具来移动高存储节点上的块到低存储节点上. 其中 -threshold 默认设置:10,参数取值范围:0-100,参数含义:判断集群是否 阅读全文
posted @ 2018-12-08 20:08 新际航 阅读(2105) 评论(0) 推荐(0) 编辑
摘要: 在hive中要想使用lzo的格式,需要配置安装好lzo工具并且在hadoop的core-site.xml与mapred-site.xml中配置相应的配置 一、编译安装lzo与lzop 在集群的每一台主机上都需要编译安装!!! 1.下载编译安装lzo文件 http://www.oberhumer.co 阅读全文
posted @ 2018-12-04 12:10 新际航 阅读(2199) 评论(0) 推荐(0) 编辑
摘要: python3 使用时如下: python2使用时: python3与python2中SimpleHTTPRequestHandler导入方式不同,3是 from http.server import SimpleHTTPRequestHandler , 2是 from SimpleHTTPServ 阅读全文
posted @ 2018-11-26 18:04 新际航 阅读(2313) 评论(0) 推荐(0) 编辑