sw_kong

摘要： 本文根据 Apache Flink 进阶篇系列直播课程整理而成，由阿里巴巴技术专家周凯波（宝牛）分享，主要介绍 Flink on Yarn / K8s 的原理及应用实践，文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行 阅读全文

摘要： 本文根据 Apache Flink 进阶篇系列直播课程整理而成，由阿里巴巴高级研发工程师唐云（茶干）分享，主要讲解 Flink 中 Checkpoint 的应用实践，包括四个部分，分别是 Checkpoint 与 state 的关系、什么是 state、如何在 Flink 中使用 state 和 C 阅读全文

摘要： 1.在所有节点安装必要软件 yum -y install bc 2.执行命令查看每个节点未挂载的磁盘清单DEVICE_LIST fdisk -l 3.修改脚本1中的DEVICE_LIST #!/bin/sh #请按照实际硬件填写DEVICE_LIST DEVICE_LIST="/dev/sdb /d 阅读全文

摘要： 预定义的source和sink 大多都是在测试，开发验证中使用 自带的连接器 参考官网：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/connectors/ 基于Apache Bahir的连接器 比如写redis: 阅读全文

摘要： 转载：https://blog.51cto.com/9280078/1845678 双网卡绑定为同一个虚拟的网卡(bond), 外界看到的好像是bond网卡在向外界提供服务， 而其实底层是两块真实的网卡在提供服务。 下面介绍一些简单的概念: 1>. Bonding 就是将多块网卡绑定同一IP 地址对 阅读全文

摘要： 链接：http://www.linuxfly.org/post/659/ 阅读全文

摘要： 一、产生背景 Hbase作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。比如，在旧版本的(<0.92)Hbase中，统计数据表的总行数，需要使用 Counter 方法，执行一次 MapReduce Job 才能得到。虽然 HBase在数据存储层中集成 阅读全文

摘要： 官网：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/stream/side_output.html#side-outputs 场景：需把输入数据源按照需要进行拆分，比如把用户访问日志按照访问者的地理位置进行拆分 分流 阅读全文

摘要： 什么是状态？ 所谓的状态，其实指的是 Flink 程序的中间计算结果。Flink 支持了不同类型的状态，并且针对状态的持久化还提供了专门的机制和状态管理器。 flink状态的应用，比如： When an application searches for certain event patterns, 阅读全文

摘要： 生成WaterMark对应的源码 方式1：assignTimestampsAndWatermarks(new AssignerWithPeriodicWatermarks<T>) /** * Assigns timestamps to the elements in the data stream 阅读全文