摘要: 1、首先在目标库建立相同的表 ,加载数据路径要符合环境目录。 2、将生产数据下载到本地hadoop dfs -get /user/hive/warehouse/dw.db/表名/d_1=20230112 /tmp/hivedata 3、将其打包成tar.gz 传到目标服务器解压 4、将解压文件上传到 阅读全文
posted @ 2023-01-17 15:11 帅东我不帅 阅读(18) 评论(0) 推荐(0) 编辑
摘要: pointMap.forEach((provinceName, points) -> { GeoPolygonQueryBuilder polygonFilterBuilder = QueryBuilders.geoPolygonQuery("location", points); FiltersA 阅读全文
posted @ 2022-10-09 17:53 帅东我不帅 阅读(114) 评论(0) 推荐(0) 编辑
摘要: pom文件 <groupId>com.ssi</groupId> <artifactId>datalake</artifactId> <packaging>pom</packaging> <version>1.0-SNAPSHOT</version> <name>DataLake</name> <p 阅读全文
posted @ 2022-09-21 19:15 帅东我不帅 阅读(212) 评论(0) 推荐(0) 编辑
摘要: 1.pom依赖 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>6.1.1</version 阅读全文
posted @ 2022-04-25 11:31 帅东我不帅 阅读(268) 评论(0) 推荐(0) 编辑
摘要: 查看表大小单位到G: hdfs dfs -count -q -h 表路径/分区路径 阅读全文
posted @ 2022-04-25 09:02 帅东我不帅 阅读(194) 评论(0) 推荐(0) 编辑
摘要: pom文件: kafka2.2.1和cdh6.3.0+spark2.4.0+版本 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.10</artifactId> <version> 阅读全文
posted @ 2021-10-12 09:44 帅东我不帅 阅读(35) 评论(0) 推荐(0) 编辑
摘要: tar -czf log.tar.gz flink-1.10.0/ 阅读全文
posted @ 2021-08-01 15:07 帅东我不帅 阅读(1916) 评论(0) 推荐(0) 编辑
摘要: =TEXT((G168/1000+8*3600)/86400+70*365+19,"yyyy-mm-dd HH:mm:ss") 阅读全文
posted @ 2021-05-28 09:48 帅东我不帅 阅读(368) 评论(0) 推荐(0) 编辑
摘要: 在记一个es的错误: org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest: Found unrecoverable error [172.16.12.31:9200] returned Bad Request(400) - Rejecting m 阅读全文
posted @ 2021-01-18 15:57 帅东我不帅 阅读(522) 评论(0) 推荐(0) 编辑
摘要: 2021年第一次发表文章,总结下过去一年中的自己。 2020年,是以后史书中色彩低沉的一年,想必是以黑白和鲜衣怒马组成的画面,这一年,抗疫从未停止,和新冠有直接联系的哭泣过,无助过,绝望过,携手共同度疫情的人也哭泣过,恐惧过,同情过。萧瑟的街道,身披战甲的医护人员,视频中不断播放的各种信息,火神山, 阅读全文
posted @ 2021-01-07 14:32 帅东我不帅 阅读(1326) 评论(0) 推荐(0) 编辑