会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
cknds
博客园
首页
新随笔
联系
管理
订阅
上一页
1
2
3
4
5
6
7
8
···
21
下一页
2021年5月8日
windows环境下hbase1.4.13单机版安装
摘要: 首先,我在windows本地已经安装了一个伪集群 并且配置了hadoop的环境变量 还有path 中 在cmd中检验hadoop环境变量 有了这个伪集群,安装hbase就不需要使用伪Linux环境了 此安装是hbase的单机版,区别与hbase的伪集群安装,只用于单机测试。单机版安装不需要启动had
阅读全文
posted @ 2021-05-08 23:42 cknds
阅读(440)
评论(0)
推荐(0)
2021年5月6日
FlinkSQL写入hive
摘要: 配置1:vim flink-conf.yml 流式写入hive需要配置检查点 # state.backend: filesystem state.backend: filesystem # 取消的时候保存检查点 execution.checkpointing.externalized-checkpo
阅读全文
posted @ 2021-05-06 17:42 cknds
阅读(2585)
评论(0)
推荐(0)
2021年4月23日
Flink开发本地模式开启WebUI
摘要: 在开发Flink程序在本地模式调试时,需要用webUI, 首先需要导入依赖 <!-- flink运行时的webUI --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</art
阅读全文
posted @ 2021-04-23 14:35 cknds
阅读(3766)
评论(0)
推荐(0)
2021年4月22日
MySQL-CDC和Canal
摘要: canal源码及安装下载 https://github.com/alibaba/canal/releases 基于canal的client-adapter数据同步必读指南 http://www.voycn.com/article/jiyucanaldeclient-adaptershujutongb
阅读全文
posted @ 2021-04-22 13:48 cknds
阅读(588)
评论(0)
推荐(0)
2021年4月21日
Clickhouse数据导入到处命令使用
摘要: 导入数据: #1、导入制表符分隔的数据 cat /data/ZDGL/stateAnalysis/dmt_term_stateAnalysisALL202010.txt | clickhouse-client -u default --password 6lYaUiFi --query="INSER
阅读全文
posted @ 2021-04-21 23:26 cknds
阅读(1276)
评论(0)
推荐(0)
2021年4月20日
FlinkSQL-Upsert-kafka、MySQL-cdc、kafka-canal-json、kafka-changelog-json等连接器的使用
摘要: 实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例 Flink1.11中的CDC Connectors操作实践
阅读全文
posted @ 2021-04-20 14:47 cknds
阅读(1372)
评论(0)
推荐(0)
2021年4月19日
Linux shell中对日期时间的处理、日期时间加减
摘要: Linux shell中对日期时间的处理、日期时间加减 shell 日期加减
阅读全文
posted @ 2021-04-19 14:36 cknds
阅读(1717)
评论(1)
推荐(0)
2021年4月16日
Flink快速构建项目quickstart - 自定义UDF函数
摘要: 官方推荐两种构建方式,第一 mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.12.0 创建flink
阅读全文
posted @ 2021-04-16 18:32 cknds
阅读(1178)
评论(0)
推荐(0)
linux sed命令就是这么简单
摘要: 概述 sed命令是一个面向字符流的非交互式编辑器,也就是说sed不允许用户与它进行交互操作。sed是按行来处理文本内容的。在shell中,使用sed来批量修改文本内容是非常方便的。 sed命令的选项 sed [选项] [动作]选项与参数:-n :使用安静(silent)模式。在一般 sed 的用法中
阅读全文
posted @ 2021-04-16 18:06 cknds
阅读(105)
评论(0)
推荐(0)
python解决url的请求参数中中文是乱码(%..%..)的问题
摘要: 在爬虫的时候接受的request.url本来是中文的,但是代码中接收到的是带有很多%的乱码,需要解码得到中文的内容: 原本下载这个文件的get请求是: http://www.shclearing.com/wcm/shch/pages/client/download/download.jsp?File
阅读全文
posted @ 2021-04-16 18:03 cknds
阅读(4926)
评论(0)
推荐(0)
上一页
1
2
3
4
5
6
7
8
···
21
下一页
公告