摘要: 1、首先在目标库建立相同的表 ,加载数据路径要符合环境目录。 2、将生产数据下载到本地hadoop dfs -get /user/hive/warehouse/dw.db/表名/d_1=20230112 /tmp/hivedata 3、将其打包成tar.gz 传到目标服务器解压 4、将解压文件上传到 阅读全文
posted @ 2023-01-17 15:11 帅东我不帅 阅读(36) 评论(0) 推荐(0)
摘要: pointMap.forEach((provinceName, points) -> { GeoPolygonQueryBuilder polygonFilterBuilder = QueryBuilders.geoPolygonQuery("location", points); FiltersA 阅读全文
posted @ 2022-10-09 17:52 帅东我不帅 阅读(150) 评论(0) 推荐(0)
摘要: pom文件 <groupId>com.ssi</groupId> <artifactId>datalake</artifactId> <packaging>pom</packaging> <version>1.0-SNAPSHOT</version> <name>DataLake</name> <p 阅读全文
posted @ 2022-09-21 19:14 帅东我不帅 阅读(263) 评论(0) 推荐(0)
摘要: 1.pom依赖 <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>6.1.1</version 阅读全文
posted @ 2022-04-25 11:31 帅东我不帅 阅读(331) 评论(0) 推荐(0)
摘要: 查看表大小单位到G: hdfs dfs -count -q -h 表路径/分区路径 阅读全文
posted @ 2022-04-25 09:02 帅东我不帅 阅读(233) 评论(0) 推荐(0)
摘要: pom文件: kafka2.2.1和cdh6.3.0+spark2.4.0+版本 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.10</artifactId> <version> 阅读全文
posted @ 2021-10-12 09:44 帅东我不帅 阅读(54) 评论(0) 推荐(0)
摘要: tar -czf log.tar.gz flink-1.10.0/ 阅读全文
posted @ 2021-08-01 15:07 帅东我不帅 阅读(1942) 评论(0) 推荐(0)
摘要: =TEXT((G168/1000+8*3600)/86400+70*365+19,"yyyy-mm-dd HH:mm:ss") 阅读全文
posted @ 2021-05-28 09:48 帅东我不帅 阅读(399) 评论(0) 推荐(0)
只有博主才能阅读该文。 阅读全文
posted @ 2021-03-24 19:29 帅东我不帅 阅读(0) 评论(0) 推荐(0)
只有博主才能阅读该文。 阅读全文
posted @ 2021-01-27 19:46 帅东我不帅 阅读(45) 评论(0) 推荐(0)