随笔分类 - Flink
摘要:Windows是Flink流计算的核心,本文将概括的介绍几种窗口的概念,重点只放在窗口的应用上。 本实验的数据采用自拟电影评分数据(userId, movieId, rating, timestamp),userId和movieId范围分别为1 100和1 200的随机数,rating范围为[0:0
阅读全文
摘要:一、工程创建与准备 使用maven进行工程创建,且采用提供的flink quickstart模版,便利很多。😄 本实验的数据采用自拟电影评分数据(userId, movieId, rating, timestamp),userId和movieId范围分别为1 100和1 200的随机数,ratin
阅读全文
摘要:遇到一个问题,想往已存在的hdfs文件中直接添加数据,默认的话应该是被拒绝的。查看了一些资料,可以这样操作: 1. 在 中添加append支持: 2. 编写appendToFile函数: 下面的函数建立在FileSystem已配置且连接成功的情况下。 1. 确保hdfs不在安全模式下 Last bu
阅读全文
摘要:最近在学Flink,准备用Flink搭建一个实时的推荐系统。找到一个好的 "网站" (也算作是flink创始者的官方网站),上面有关于Flink的上手教程,用来练练手,熟悉熟悉,下文仅仅是我的笔记。 1. 数据集 网站 "New York City Taxi & Limousine Commissi
阅读全文


浙公网安备 33010602011771号