cac2020

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 一、Spark资源调度和任务调度 1、Spark资源调度和任务调度的流程 启动集群后，Wo 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 一、RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。 示例： 窄依赖：父RDD 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 术语 Master(standalone)：资源管理的主节点(进程) Cluster Ma 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 一、搭建集群组建方案：master:PCS101，slave:PCS102、PCS103 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 一、RDDRDD（Resilient Distributed Dataset）叫做弹性分布 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 一、什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 一、字符串、数组、List、Set、Map、tuple tuple1、元组定义与列表一样， 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark-1.6 Scala是一种混合功能编程语言,类似java，运行于JVM，集成面向对象编程和函数式编程 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 redis-2.8.18 Redis集群分类： 主从复制 Replication：镜像：增删改（主<退化到单节点>）查询负载到从节点 高可用 Sentinel 阅读全文

摘要： 环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 redis-2.8.18 什么是持久化？ 将数据从掉电易失的内存存放到能够永久存储的设备上 Redis持久化方式： RDB（Redis DB） 类似 hdfs: 阅读全文