wanpi

摘要： docker是创建容器的工具。 docker作用：可以把代码和环境一起打包部署到生产环境中。比如：我们写好的代码迁移到别的地方运行，不需要重新配置环境就能直接运行 docker的三大特征：镜像（Image）、容器（Container）、仓库（Repository） 从上图可以看出 容器是由镜像实例化 阅读全文

摘要： 1.Driver和SparkContext 先有的driver，在driver中创建的sparkcontext。 运行应用程序的main函数,启动一个Driver进程。功能如下： 创建spark的sparkcontext上下文 划分RDD并生成有向无环图（DAG） 与spark中的其他组件进行协调， 阅读全文

摘要： 有的小伙伴在部署K8S集群时flannel无法下载，我这里直接给出这个文件。 kube-flannel.yaml apiVersion: policy/v1beta1 kind: PodSecurityPolicy metadata: name: psp.flannel.unprivileged a 阅读全文

摘要： 1. 安装docker 1.1 前置工作 master节点和worker节点上都需要进行下面的操作。 # 关闭了防火墙，并取消了开机自启动。 hadoop@master:sudo ufw disable #查看防火墙状态 hadoop@master:sudo ufw status # 关闭selin 阅读全文

摘要： 1. spark shuffle write和shuffle read 什么是shuffle操作 spark中的shuffle操作功能：将分布在集群中多个节点上的同一个key，拉取到同一个节点上，进行聚合或join操作，类似洗牌的操作。这些分布在各个存储节点上的数据重新打乱然后汇聚到不同节点的过程就 阅读全文

摘要： 1、各种模式的运行图解 1.1 Standalone-client 使用SparkSubmit提交任务的时候，使用本地的Client类的main函数来创建sparkcontext并初始化它，为我们的Application启动一个Driver进程； 1、Driver连接到Master，注册并申请资源（ 阅读全文

摘要： 1、数据本地化级别 数据本地化：数据离计算它的代码有多近。基于数据距离代码的距离，有几种数据本地化级别： PROCESS_LOCAL :数据和计算它的代码在同一个Executor JVM进程中。 NODE_LOCAL : 数据和计算它的代码在同一个节点，但不在同一个进程中，比如在不同的executo 阅读全文

摘要： 使用 IDEA 在pom.xml中添加maven 依赖包时下载依赖包大部分速度很慢，很慢，通过这样修改，使用阿里的maven镜像就可以了，速度快到飞起，亲测有效！之后不管下载什么，再也不用担心了 操作步骤： 1、右键项目选中maven选项，然后选择“open settings.xml”或者 “cre 阅读全文

摘要： 比如启动四个节点，但是在处理数据的时候负载不均衡，只有两个节点的使用率很高。可以推测与分区数有关，测试数据集为267MB，hdfs中默认的数据分片大小为128MB，约有两个分区。推测只有两个分区能拿到数据进行计算，所以将hdfs的数据分片大小改为64MB，这样约有4个分区，与集群中的Executor 阅读全文

摘要： 在Spark中，job与被组织在DAG中的一组RDD依赖性密切相关，类似下图： 这个job执行一个简单的word cout。首先，它执行一个textFile从HDFS中读取输入文件，然后进行一个flatMap操作把每一行分割成word，接下来进行一个map操作，以形成form（word，1）对，最后 阅读全文