摘要： 一、Alink结构简析 Pipeline结构 算法、预处理、特征工程等组件可加载进pipeline进行训练预测，组件也可单独使用 pipeline构成如下： 数据源 Alink对各种数据源的操作均为包装成Operator，批与流采用不同Operator。同时，Pipeline也支持Table数据源的 阅读全文

摘要： 一、写数据 向Hive中写数据只尝试了流数据写入Hive，毕竟批数据写入数仓的场景并不多，Flink 1.11对于Hive流处理的支持还是改善很多的，用起来也很方便。 1、可以直接将流数据转换为Table写入hive（测试环境下采用文件写入DataStream，再转换为Table）； 2、可以cre 阅读全文

摘要： 由于Flink1.11的更新对Hive增强了支持，所以想在原Hadoop集群安装Hive。Hive源数据库使用的mysql。 遇到的问题如下： 1、由于是用IDEA开发环境连接Hive，所以要在本地windows安装hadoop（不用启动的hadoop，主要是为了配路径，比较简单） 2、maven依 阅读全文

摘要： 一、底层API：ProcessFunction（event，state，time） ProcessFunction 可以处理一或两条输入数据流中的单个事件或者归入一个特定窗口内的多个事件。它提供了对于时间和状态的细粒度控制。开发者可以在其中任意地修改状态，也能够注册定时器用以在未来的某一时刻触发回调 阅读全文

摘要： 一、概述 1、架构简介 Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。Flink 集成了所有常见的集群资源管理器，例如 Hadoop YARN、 Apache Mesos  阅读全文

摘要： 一、高可用HDFS hadoop基础组成：https://www.cnblogs.com/funyoung/p/9889719.html 1、HDFS基础结构 2、高可用HDFS架构 主备切换控制器 ZKFailoverController：ZKFailoverController 作为独立的进程运 阅读全文

摘要： 1、CA（为服务器做担保的第三方机构）将包含CA【公钥C】等信息的【证书C】发送给浏览器； 2、服务器将其【公钥S】和网站信息发送给CA； 3、CA用CA【私钥C】将这些信息加密得到了签名后的【服务器证书S】，发送给服务器； 4、浏览器输入使用https协议的url; 5、浏览器与服务器建立TCP连 阅读全文