04 2021 档案

Flink开发本地模式开启WebUI
摘要：在开发Flink程序在本地模式调试时，需要用webUI， 首先需要导入依赖 <!-- flink运行时的webUI --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</art 阅读全文
posted @ 2021-04-23 14:35 cknds 阅读(3782) 评论(0) 推荐(0)
MySQL-CDC和Canal
摘要：canal源码及安装下载 https://github.com/alibaba/canal/releases 基于canal的client-adapter数据同步必读指南 http://www.voycn.com/article/jiyucanaldeclient-adaptershujutongb 阅读全文
posted @ 2021-04-22 13:48 cknds 阅读(653) 评论(0) 推荐(0)
Clickhouse数据导入到处命令使用
摘要：导入数据： #1、导入制表符分隔的数据 cat /data/ZDGL/stateAnalysis/dmt_term_stateAnalysisALL202010.txt | clickhouse-client -u default --password 6lYaUiFi --query="INSER 阅读全文
posted @ 2021-04-21 23:26 cknds 阅读(1306) 评论(0) 推荐(0)
FlinkSQL-Upsert-kafka、MySQL-cdc、kafka-canal-json、kafka-changelog-json等连接器的使用
摘要：实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例 Flink1.11中的CDC Connectors操作实践 阅读全文
posted @ 2021-04-20 14:47 cknds 阅读(1383) 评论(0) 推荐(0)
Linux shell中对日期时间的处理、日期时间加减
摘要：Linux shell中对日期时间的处理、日期时间加减 shell 日期加减 阅读全文
posted @ 2021-04-19 14:36 cknds 阅读(1722) 评论(1) 推荐(0)
Flink快速构建项目quickstart - 自定义UDF函数
摘要：官方推荐两种构建方式，第一 mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.12.0 创建flink 阅读全文
posted @ 2021-04-16 18:32 cknds 阅读(1209) 评论(0) 推荐(0)
linux sed命令就是这么简单
摘要：概述 sed命令是一个面向字符流的非交互式编辑器，也就是说sed不允许用户与它进行交互操作。sed是按行来处理文本内容的。在shell中，使用sed来批量修改文本内容是非常方便的。 sed命令的选项 sed [选项] [动作]选项与参数：-n ：使用安静(silent)模式。在一般 sed 的用法中 阅读全文
posted @ 2021-04-16 18:06 cknds 阅读(123) 评论(0) 推荐(0)
python解决url的请求参数中中文是乱码（%..%..）的问题
摘要：在爬虫的时候接受的request.url本来是中文的，但是代码中接收到的是带有很多%的乱码，需要解码得到中文的内容： 原本下载这个文件的get请求是： http://www.shclearing.com/wcm/shch/pages/client/download/download.jsp?File 阅读全文
posted @ 2021-04-16 18:03 cknds 阅读(4972) 评论(0) 推荐(0)
Python 关键字参数和可变参数
摘要：关键字参数 如果你有一些具有许多参数的函数，而你又希望只对其中的一些进行指定，那么你可以通过命名它们来给这些参数赋值——这就是python关键字参数（Keyword Arguments）——我们使用命名（关键字）而非位置（一直以来我们所使用的方式）来指定函数中的参数。 这样做有两大优点——其一，我们 阅读全文
posted @ 2021-04-16 18:02 cknds 阅读(179) 评论(0) 推荐(0)
大白话讲解神经网络算法，原理如此简单！
摘要：这篇教程发布仅天时间，就在Hacker News论坛上收获了574赞。程序员们纷纷夸赞这篇文章的代码写得很好，变量名很规范，让人一目了然。 下面就让我们一起从零开始学习神经网络吧。 实现方法搭建基本模块——神经元 在说神经网络之前，我们讨论一下神经元（Neurons），它是神经网络的基本单元。神经元 阅读全文
posted @ 2021-04-16 18:01 cknds 阅读(804) 评论(0) 推荐(0)
idea debug flink1.12 sqlClient 源码
摘要：idea debug flink1.12 sqlClient 源码 阅读全文
posted @ 2021-04-14 17:17 cknds 阅读(117) 评论(0) 推荐(0)
Flink SQL如何保证分topic有序
摘要：Flink SQL如何保证分topic有序 阅读全文
posted @ 2021-04-14 17:13 cknds 阅读(85) 评论(0) 推荐(0)
Flink 1.12.0 SQL Connector支持 Oracle
摘要：Flink 1.12.0 SQL Connector支持 Oracle 阅读全文
posted @ 2021-04-14 16:37 cknds 阅读(914) 评论(0) 推荐(0)
Flink实战之Flink SQL connector支持并行度配置
摘要：https://blog.csdn.net/weixin_41608066/article/details/108557869?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineL 阅读全文
posted @ 2021-04-14 16:35 cknds 阅读(938) 评论(0) 推荐(0)
java程序中执行脚本时具有的是那个用户的权限呢？
摘要：https://blog.csdn.net/xu282934741/article/details/93761980 阅读全文
posted @ 2021-04-14 09:35 cknds 阅读(89) 评论(0) 推荐(0)
clickhouse日期等函数的使用
摘要：https://www.cnblogs.com/pengpenghuhu/p/14546305.html 阅读全文
posted @ 2021-04-14 09:32 cknds 阅读(999) 评论(0) 推荐(0)