文章分类 -  Flink

摘要:Flink(五)Flink开发IDEA环境搭建与测试(3) 使用IDEA开发离线程序--批量处理数据--WordCountBatch Dataset是flink的常用程序,数据集通过source进行初始化,例如读取文件或者序列化集合,然后通过transformation(filtering、mapp 阅读全文

posted @ 2020-08-30 16:12 MissRong 阅读(321) 评论(0) 推荐(0) |

摘要:Flink(五)Flink开发IDEA环境搭建与测试(2) 用IDEA开发实时程序--流式处理数据案例--WordcountStreaming (1)Scala代码 import org.apache.flink.api.java.utils.ParameterTool import org.apa 阅读全文

posted @ 2020-08-30 13:50 MissRong 阅读(643) 评论(0) 推荐(0) |

摘要:Flink(四)Flink开发IDEA环境搭建与测试(1)IDEA开发环境 先新建一个项目(这里面会用Scala、Java写Flink): 因为要加载Scala,所以创建项目参考: https://www.cnblogs.com/liuxinrong/articles/12972537.html h 阅读全文

posted @ 2020-08-30 13:30 MissRong 阅读(1182) 评论(0) 推荐(0) |

该文被密码保护。

posted @ 2020-08-30 13:18 MissRong 阅读(0) 评论(0) 推荐(0) |

摘要:Flink(二) 一、统一的批处理与流处理系统 在大数据处理领域,批处理任务与流处理任务一般被认为是两种不同的任务,一个大数据项目一般会被设计为只能处理其中一种任务,例如Apache Storm、Apache Smaza只支持流处理任务,而Aapche MapReduce、Apache Tez、Ap 阅读全文

posted @ 2020-08-30 12:54 MissRong 阅读(1028) 评论(0) 推荐(0) |

该文被密码保护。

posted @ 2020-08-30 12:43 MissRong 阅读(0) 评论(0) 推荐(0) |

博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3