Fork me on GitHub

随笔分类 -  Flink

摘要:Windows是Flink流计算的核心,本文将概括的介绍几种窗口的概念,重点只放在窗口的应用上。 本实验的数据采用自拟电影评分数据(userId, movieId, rating, timestamp),userId和movieId范围分别为1 100和1 200的随机数,rating范围为[0:0 阅读全文
posted @ 2019-02-17 22:55 Byron_NG 阅读(15281) 评论(0) 推荐(1)
摘要:一、工程创建与准备 使用maven进行工程创建,且采用提供的flink quickstart模版,便利很多。😄 本实验的数据采用自拟电影评分数据(userId, movieId, rating, timestamp),userId和movieId范围分别为1 100和1 200的随机数,ratin 阅读全文
posted @ 2019-01-22 10:54 Byron_NG 阅读(1266) 评论(0) 推荐(0)
摘要:遇到一个问题,想往已存在的hdfs文件中直接添加数据,默认的话应该是被拒绝的。查看了一些资料,可以这样操作: 1. 在 中添加append支持: 2. 编写appendToFile函数: 下面的函数建立在FileSystem已配置且连接成功的情况下。 1. 确保hdfs不在安全模式下 Last bu 阅读全文
posted @ 2019-01-08 14:11 Byron_NG 阅读(2377) 评论(0) 推荐(0)
摘要:最近在学Flink,准备用Flink搭建一个实时的推荐系统。找到一个好的 "网站" (也算作是flink创始者的官方网站),上面有关于Flink的上手教程,用来练练手,熟悉熟悉,下文仅仅是我的笔记。 1. 数据集 网站 "New York City Taxi & Limousine Commissi 阅读全文
posted @ 2018-11-17 12:39 Byron_NG 阅读(3310) 评论(1) 推荐(1)