2020年8月27日
限流的4种方式&令牌桶实战
摘要： 限流的4种方式https://blog.csdn.net/weixin_41846320/article/details/95941361正文令牌桶算法限流限流限流是对某一时间窗口内的请求数进行限制，保持系统的可用性和稳定性，防止因流量暴增而导致的系统运行缓慢或宕机。常用的限流算法有令牌桶和和漏桶，而Google开源项目Guava中的RateLimiter使用的就是令牌桶控制算法。在开发高并发系统... 阅读全文
posted @ 2020-08-27 17:17 春江师兄 阅读(1552) 评论(0) 推荐(0)
2020年8月22日
[转]Flink 作业提交 设置classpath
摘要： 通常我们在编写一个flink的作业的时候，肯定会有依赖的jar包。flink官方希望你将所有的依赖和业务逻辑打成一个fat jar，这样方便提交，因为flink认为你应该对自己的业务逻辑做好单元测试，而不应该把这部分测试工作频繁提交到集群去做。但事实是我们往往不愿意打一个fat jar，我们希望将业务逻辑独立出来，依赖动态提交。可惜的是，flink并不支持这种提交模式。flink官方的文档中提供了... 阅读全文
posted @ 2020-08-22 17:31 春江师兄 阅读(4417) 评论(0) 推荐(1)
2020年8月15日
Flink 1.11 集成 Hive 2.36 并写入数据到HIVE
摘要： 注意 1. Flink使用1.11.0版本、HIVE使用2.3.6版本、Hadoop使用2.10.0版本注意 2. 将hive-site.xml文件放在maven项目的resource目录下。注意 3. 不编写脚本的话要执行 export HADOOP_CLASSPATH=`hadoop classpath` 语句第一步：根据官网填入一下pom依赖 org.apache.flink f... 阅读全文
posted @ 2020-08-15 18:26 春江师兄 阅读(9831) 评论(1) 推荐(0)
2020年5月15日
canal 连接开启sasl验证的Kafka集群
摘要： 底层逻辑：1）Kafka开启了sasl验证，意味着客户端需要通过sasl验证才能连接Kafka。2）客户端需要准备两样东西 第一：配置 -Djava.security.auth.login.config 第二：准备sasl验证文件3）针对canal来讲，需要开启sasl验证模式。具体操作如下： 1）canal.properties文件修改，用来指定数据发送kafka ... 阅读全文
posted @ 2020-05-15 18:01 春江师兄 阅读(1478) 评论(0) 推荐(0)
2020年1月3日
ElasticSearch 7.5.1安装部署
摘要： ElasticSearch 7.5.1安装部署创建elsearch用户。 由于es不建议使用root用户安装部署，所以需要专门为es集群设置一个用户groupadd elsearch && useradd elsearch -g elsearch -p elasticsearch安装jdk。由于es要求需要jdk11以上，需要升级下JDK下载JDKwget https://download.or... 阅读全文
posted @ 2020-01-03 14:52 春江师兄 阅读(4335) 评论(0) 推荐(0)
2019年11月15日
Link Table API JAVA_STREAM_DEMO
摘要： org.apache.flink flink-table-api-java-bridge_2.11 1.9.0 provided--> org.apache.flink flink-table-planner_2.11 1.9.0 provided--> ... 阅读全文
posted @ 2019-11-15 20:27 春江师兄 阅读(415) 评论(0) 推荐(1)
FLink Table API JAVA_BATCH_DEMO
摘要： org.apache.flink flink-table-api-java-bridge_2.11 1.9.0 provided--> org.apache.flink flink-table-planner_2.11 1.9.0 provided--> ... 阅读全文
posted @ 2019-11-15 19:40 春江师兄 阅读(1285) 评论(0) 推荐(0)
Flink1.9 TableAPI如何选择执行计划
摘要： Flink1.9合并了Blink的代码，也就意味着我们在使用Table API 开发程序的时候，可以选在两种不同的执行计划。一种是原来的Flink的执行计划。一种是Blink的执行计划。截止到1.9的版本，虽然集成了Blink的执行计划，但是并不建议在生产中使用。Flink的执行计划，统称为OldPlanner// **********************// FLINK STREAMING ... 阅读全文
posted @ 2019-11-15 14:46 春江师兄 阅读(1170) 评论(0) 推荐(0)
Flink GroupBy与Window的关系
摘要： 不带时间窗口的的groupby 会来一条数据进行一条数据的更新操作。这个时候结果是incrment的状态，每次都是覆盖（包含）了上次的结果。带时间窗口的groupby 会对时间窗口内的一批数据进行处理。这个结果是segment的状态，与窗口个数对应。 阅读全文
posted @ 2019-11-15 14:38 春江师兄 阅读(1746) 评论(0) 推荐(0)
Flink1.9 使用 SQL 读取 Kafka 并写入 MySQL
摘要： https://developer.aliyun.com/article/717034 阅读全文
posted @ 2019-11-15 10:56 春江师兄 阅读(1193) 评论(0) 推荐(0)
下一页