azell

摘要： org.apache.tomcat.util.http.fileupload.impl.FileSizeLimitExceededException: The field file exceeds its maximum permitted size of 1048576 bytes. 由报错信息可 阅读全文

摘要： 0. 创建RDD，并转换为DataFrame；scm持久化；创建spark.sql临时表等预处理： RDD： DataFrame: spark.sql: 1. 总共有多少学生？ RDD: DataFrame: spark.sql: 2. 总共开设了多少门课程？ RDD: DataFrame: spa 阅读全文

摘要： 1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 原因：设计一个统一的计算引擎解决所有的各类型计算，包含计算类型: 1.离线批处理； 2.交互式查询 3.图计算 4.流失计算 5.机器学习/迭代计算 6.Spark R 科学计算，数据分析 Shark 建立在 Hive 代码的 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() 三、学生课程分数 网盘下载sc.txt文件，通过RDD操作实现以下数据分析: 持久化 scm.cache() 总共有多少学生？map(), distinct(), count() 开设了多少 阅读全文

摘要： 一、准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs上 二、读文件创建RDD 输入pyspark 三、分词 四、排除大小写lower()，map()，标点符号re.split(pattern,str)，flatMap(),，停用词,可网盘下载stopwords.txt,filter()，，长度 阅读全文

摘要： 一、 RDD创建 从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 通过并行集合（列表）创建RDD 输入列表、字符串、生成数组 二、 RDD操作 转换操作 filter(func) 传入lambda匿名函数 显示定义函数 map( 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark Core：Spark核心组件，它实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Res 阅读全文

摘要： 一、安装Spark 检查基础环境hadoop，jdk 配置文件 启动spark 二、Python编程练习：英文文本的词频统计 准备文本文件（txt） txt = open("text.txt", "r",encoding='UTF-8').read() txt = txt.lower() for c 阅读全文

摘要： 1.下图展示了 Hadoop 生态圈常见的软件和应用场景： 可以看出，Hadoop 的基础是 HDFS 和 Yarn，在此基础上有各种计算模型，如 MapReduce、Spark、HBase 等；而在计算模型上层，对应的是各种分布式计算辅助工具，如 Hive、Pig、Sqoop 等。此外，还有分布式 阅读全文