紫陌凛风

摘要： 1 阅读全文

摘要： 点错了 阅读全文

摘要： 1 分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、Dat 阅读全文

摘要： 点击免登录百度网盘下载PPT 集合运算练习 union()， intersection()，subtract(), cartesian() rdd1 = sc.parallelize('abcd') rdd2 = sc.parallelize('bcde') rdd1.union(rdd2).col 阅读全文

摘要： 一、词频统计 A.分步骤实现：1. 准备文件 文章地址：https://www.neelc.org/posts/web3-centralized/ Web3_is_centralized是文件名 hdfs dfs -put ./Web3_is_centralized.txt ./Web3_is_ce 阅读全文

摘要： 一、 RDD创建 1. 从本地文件系统中加载数据创建RDD 2. 从HDFS加载数据创建RDD 启动hdfs 上传文件, 查看文件 加载 停止hdfs 3. 通过并行集合（列表）创建RDD 输入列表、字符串、生成数组 二、 RDD操作 转换操作 filter(func) map(func) 字符串分 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 2.请详细阐述Spark的几个主要概念及相互关系： Master, Worker; RDD,DAG; Application, job,stage,task; driver,execu 阅读全文

摘要： 一、安装Spark 1. 检查基础环境hadoop,jdk 未配置好hadoop，去~/.bashrc添加环境变量 export PATH=$PATH:$HADOOP_HOME/sbin 2. 环境变量 添加spark环境变量 export SPARK_HOME=/usr/local/spark e 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 HDFS（hadoop分布式文件系统） 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。 mapreduce（分布式计算框架） 是一种计算模型，用于处理大数据量的计 阅读全文