摘要：
###概述 Structured Streaming 是 Spark 2.0 引入的功能，有以下特点 - 基于 Spark SQL engine - 可以直接使用 DataSet/DataFrame API，就像处理离线的批数据一样 - Spark SQL engine 持续地、增量地处理流数据 - 阅读全文
posted @ 2020-05-29 20:13
moon~light
阅读(506)
评论(0)
推荐(0)
摘要：
HDFS org.apache.hadoop.hdfs.server.datanode.DataNode org.apache.hadoop.hdfs.server.namenode.NameNode ## 非 HA 模式下才有 SecondaryNameNode，配置 HA 的话是两个 NameN 阅读全文
posted @ 2020-05-25 01:43
moon~light
阅读(380)
评论(0)
推荐(0)
摘要：
如果 SparkContext 或 SQLContext 被传到 Worker，哪怕实际上在 Worker 中没使用上，都会报下面的错误 Exception: It appears that you are attempting to reference SparkContext from a br 阅读全文
posted @ 2020-05-24 18:12
moon~light
阅读(2082)
评论(0)
推荐(0)
摘要：
架构 Driver Program：每个 Spark 应用的主程序 Spark Context：在 Driver 里面构建，用于协调、调度在各个节点运行的进程 Cluster Manager：管理节点，分配资源（可以是 Spark standalone、Mesos、Yarn、K8S） Worker 阅读全文
posted @ 2020-05-22 02:01
moon~light
阅读(177)
评论(0)
推荐(0)
摘要：
```1. 创建 hadoop 用户 (1) 添加新用户 sudo useradd -m hadoop -s /bin/bash (2) 设置密码 sudo passwd hadoop (3) 增加管理员权限 sudo adduser hadoop sudo (4) 登录账户 su - hadoop (5) 更新... 阅读全文
posted @ 2020-05-18 00:01
moon~light
阅读(231)
评论(0)
推荐(0)
摘要：
Flink on Yarn 的两种模式 Yarn Session：启动一个长期运行的 Yarn 程序，这个 Yarn 程序在不同的 container 上启动 Job Manager 和 Task Manager，实现了 Flink 集群功能，然后每个 Flink app 都提交到这个由 Yarn 阅读全文
posted @ 2020-05-17 16:14
moon~light
阅读(1935)
评论(0)
推荐(0)
摘要：
Standalone Cluster 就是独立的 Flink 集群，相对应的有基于 YARN 的 Flink 集群 要求 1. Java 1.8 和 JAVA_HOME 环境变量 2. 不同机器之间支持 SSH 免密码登陆 3. 不同机器都有相同的 Flink 目录结构 下载 Flink 包 （ " 阅读全文
posted @ 2020-05-15 23:45
moon~light
阅读(989)
评论(0)
推荐(0)
摘要：
Flink 提供一个基于 Docker 的 Playground 给用户了解学习 Flink "https://ci.apache.org/projects/flink/flink docs release 1.10/getting started/docker playgrounds/flink 阅读全文
posted @ 2020-05-12 01:43
moon~light
阅读(908)
评论(0)
推荐(0)
摘要：
安装 最好用国内的源，国外的源容易卡，容易安装失败 常用命令 下载镜像，如果不指定版本的话，默认用 latest 默认是到 docker 的官方 registry 下载镜像，有可能很慢，可以改变默认配置 创建或修改文件 /etc/docker/daemon.json，添加以下内容 重启服务 重新 p 阅读全文
posted @ 2020-05-05 20:32
moon~light
阅读(3546)
评论(1)
推荐(0)
摘要：
###Web 服务器 用于完成和客户端建立链接，接受并解析请求，转发请求，调用 Web 框架处理业务并生成返回内容，组织并返回内容给客户端，关闭链接等工作，比如 Nginx，Gunicorn，uWSGI 等就是 Web 服务器 ###Web 框架 对 Web 服务的常用功能提取、组织、简化使用，令开 阅读全文
posted @ 2020-05-04 22:02
moon~light
阅读(664)
评论(0)
推荐(0)
浙公网安备 33010602011771号