摘要: 1 阅读全文
posted @ 2022-05-13 00:03 紫陌凛风 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 点错了 阅读全文
posted @ 2022-05-12 02:44 紫陌凛风 阅读(26) 评论(0) 推荐(0) 编辑
摘要: 1 分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD),Spark SQL作为分布式SQL查询引擎,让用户可以通过SQL、Dat 阅读全文
posted @ 2022-04-27 10:31 紫陌凛风 阅读(86) 评论(2) 推荐(0) 编辑
摘要: 点击免登录百度网盘下载PPT 集合运算练习 union(), intersection(),subtract(), cartesian() rdd1 = sc.parallelize('abcd') rdd2 = sc.parallelize('bcde') rdd1.union(rdd2).col 阅读全文
posted @ 2022-04-10 13:41 紫陌凛风 阅读(59) 评论(0) 推荐(0) 编辑
摘要: 一、词频统计 A.分步骤实现:1. 准备文件 文章地址:https://www.neelc.org/posts/web3-centralized/ Web3_is_centralized是文件名 hdfs dfs -put ./Web3_is_centralized.txt ./Web3_is_ce 阅读全文
posted @ 2022-03-23 21:56 紫陌凛风 阅读(63) 评论(4) 推荐(0) 编辑
摘要: 一、 RDD创建 1. 从本地文件系统中加载数据创建RDD 2. 从HDFS加载数据创建RDD 启动hdfs 上传文件, 查看文件 加载 停止hdfs 3. 通过并行集合(列表)创建RDD 输入列表、字符串、生成数组 二、 RDD操作 转换操作 filter(func) map(func) 字符串分 阅读全文
posted @ 2022-03-16 20:32 紫陌凛风 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 2.请详细阐述Spark的几个主要概念及相互关系: Master, Worker; RDD,DAG; Application, job,stage,task; driver,execu 阅读全文
posted @ 2022-03-09 10:46 紫陌凛风 阅读(60) 评论(0) 推荐(0) 编辑
摘要: 一、安装Spark 1. 检查基础环境hadoop,jdk 未配置好hadoop,去~/.bashrc添加环境变量 export PATH=$PATH:$HADOOP_HOME/sbin 2. 环境变量 添加spark环境变量 export SPARK_HOME=/usr/local/spark e 阅读全文
posted @ 2022-03-02 18:53 紫陌凛风 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。 HDFS(hadoop分布式文件系统) 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统,能检测和应对硬件故障。 mapreduce(分布式计算框架) 是一种计算模型,用于处理大数据量的计 阅读全文
posted @ 2022-02-23 10:01 紫陌凛风 阅读(66) 评论(0) 推荐(0) 编辑