随笔分类 -  flink

摘要: 阅读全文
posted @ 2018-12-09 19:46 uuhh 阅读(220) 评论(0) 推荐(0)
摘要:Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能 Flink提供了诸多更高抽象层的API以便用户编写分布式任务: DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以方便地使用Flink提供的各种操作 阅读全文
posted @ 2018-12-09 13:38 uuhh 阅读(4227) 评论(0) 推荐(0)
摘要:flink介绍:为世界上一些最苛刻的流处理应用程序提供支持 是一个框架,也是一个计算引擎。对无界和有界数据流进行有状态计算。设计为在所有常见集群中,以内存速度和任何规模计算。 任何类型的数据都是事件流,信用卡交易,传感器测量,机器日志或网站或移动应用上的用户交互。这些数据都是流。 1.无界流有一个开 阅读全文
posted @ 2018-12-08 19:57 uuhh 阅读(602) 评论(0) 推荐(0)
摘要:Flink为各种存储系统(如Kafka,Kinesis,Elasticsearch和JDBC数据库系统)提供了丰富的连接器。它还具有连续的文件系统源,用于监视以时间分区方式写入文件的目录和接收器 如果kafka版本为0.8或者0.9导入flink-connector-kafka-0.8_2.11-1 阅读全文
posted @ 2018-11-30 09:04 uuhh 阅读(1123) 评论(0) 推荐(0)