会员
周边
新闻
博问
闪存
众包
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
---江北
冰冻三尺,非一日之寒
博客园
首页
新随笔
联系
管理
上一页
1
···
5
6
7
8
9
10
11
12
13
···
52
下一页
2020年11月5日
flink入门(五)——状态
摘要: 一、概述 状态的分类: 状态的概念: 两种状态的介绍: 二、两种状态 1.算子状态: 算子状态的数据结构: 不过,实际运用中,都是使用键控状态居多! 2.键控状态 键控状态的数据结构: 代码中使用示例: 3.状态后端 访问存储状态的组件: 可供选择的状态后端:
阅读全文
posted @ 2020-11-05 09:31 ---江北
阅读(269)
评论(0)
推荐(0)
2020年11月2日
flink入门(四)——window概念和时间、水位线
摘要: 一、窗口概述 窗口的概念:用来将无限流切分为有限流,分发到有限大小的桶中进行处理 窗口的分类:大致分为时间窗口和计数窗口 窗口的边界:左闭右开 二、窗口介绍 1.滚动时间窗口 由固定的窗口长度控制,不会有重叠 2.滑动时间窗口 由窗口size和滑动距离控制,元素会有重叠,当然,步长=size的时候,
阅读全文
posted @ 2020-11-02 10:12 ---江北
阅读(630)
评论(0)
推荐(0)
2020年10月23日
flink入门(三)——DataStream API
摘要: 一、概述 1.大致流程:主要分五步 获取一个执行环境 加载/创建初始数据 指定数据上的转换 指定计算结果放在哪里 触发程序执行 详细步骤,可以参考:https://www.cnblogs.com/cjsblog/p/12967555.html 1)在sacla中可以通过静态方法获取执行环境:(根据上
阅读全文
posted @ 2020-10-23 14:50 ---江北
阅读(554)
评论(0)
推荐(0)
2020年10月19日
flink入门(二)——部署与运行架构
摘要: 一、单机版安装与测试 参考:http://www.oushaobin.cn/archives/apache-flink-guide-1.html 1)进入IP:8081管理界面(虚拟机需要防火墙关闭),进入submit new job页面 2)将scala写好的word-count程序打包成包含ja
阅读全文
posted @ 2020-10-19 15:59 ---江北
阅读(432)
评论(0)
推荐(0)
2020年10月13日
(阿里训练营)flink——Stream Processing With Flink
摘要: 一、并行处理和编程规范 1.并行计算 并行计算的核心思想:分而治之,将节点变成有向无环图,路径为Source Trans Sink 二、DataStream API 1.大致运行流程: 代码示例: flink的source从哪里来?——flink连接器 更多的DataStream API,参考:ht
阅读全文
posted @ 2020-10-13 13:52 ---江北
阅读(281)
评论(0)
推荐(0)
2020年9月17日
python分布式爬虫-Selenium(针对需要渲染的页面)
摘要: 一、简介 见官网:http://www.selenium.org.cn/ 简单使用参考:https://www.jianshu.com/p/3aa45532e179 二、安装 使用pip安装 pip install Selenium -i http://pypi.douban.com/simple
阅读全文
posted @ 2020-09-17 17:06 ---江北
阅读(423)
评论(0)
推荐(0)
2020年7月2日
大数据-用户画像
该文被密码保护。
阅读全文
posted @ 2020-07-02 16:40 ---江北
阅读(0)
评论(0)
推荐(0)
2020年3月26日
datax的可视化-datax-web
摘要: 一、概述 datax脚本的使用之前已有介绍,此处采用datax-web开源项目来实现datax的可视化 主流方案包括datax-web:https://github.com/WeiYe-Jing/datax-web 基于diango的datax可视化:https://www.cnblogs.com/
阅读全文
posted @ 2020-03-26 16:08 ---江北
阅读(13938)
评论(0)
推荐(0)
2020年3月23日
FineReport实战——图表与参数
该文被密码保护。
阅读全文
posted @ 2020-03-23 17:45 ---江北
阅读(1)
评论(0)
推荐(0)
2020年3月13日
FineReport实战——图表
该文被密码保护。
阅读全文
posted @ 2020-03-13 15:31 ---江北
阅读(0)
评论(0)
推荐(0)
上一页
1
···
5
6
7
8
9
10
11
12
13
···
52
下一页
公告
TOP