Protect_Winter's Sketchbook

摘要： 一、学习视频 https://www.bilibili.com/video/BV1oE411s7h7?p=39 二、编写程序 阅读全文

摘要： 一、学习视频 https://www.bilibili.com/video/BV1oE411s7h7?p=36 二、遇到的问题 在新建HBase表时报错：KeeperErrorCode=Connection for /hbase 解决方法： 三、Spark读取HBase 阅读全文

摘要： 一、学习视频 https://www.bilibili.com/video/BV1oE411s7h7?p=37 二、配置过程 2.1在spark安装目录下的jars目录中新建hbase目录 2.2将hbase安装目录下的lib目录下的相关文件拷贝到上面的hbase文件夹中 注：./代表当前文件夹，之 阅读全文

摘要： 一、HBase简介 HBase是一个基于Hdfs的、分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBa 阅读全文

摘要： 一、学习视频 https://www.bilibili.com/video/BV1oE411s7h7?p=34 二、本地文件数据读写 2.1 读取本地文件数据创建RDD，注：基于RDD惰性机制，即便文件不存在也不会报错，只会在遇到第一个动作操作时报错 2.2 将RDD写入本地文件系统，注：saveA 阅读全文

摘要： 一、学习视频 https://www.bilibili.com/video/BV1oE411s7h7?p=31 二、键值对RDD的创建 使用map()函数，将读取的数据分割成键值对的形式 三、常用键值对RDD转换操作 1.reduceByKey(func) 使用func函数合并具有相同键的值 2.g 阅读全文

摘要： 一、学习视频 https://www.bilibili.com/video/BV1oE411s7h7?p=27 二、分区的作用 1.增加并行度 2.减少通信开销 三、自定义分区方法 调用SparkContext对象的.textFile()或者.parallelize()方法，在方法内传递两个参数，第 阅读全文

摘要： 一、持久化 多次计算时，可能会重复利用一个数值，每次需要从头到尾的计算得出这个数值较为麻烦，所以可以将此RDD持久化，直接使用 二、实例 在此代码中，第一次执行计算是rdd.count()函数，当执行到rdd.collect()时，会重复执行之前的代码，rdd会被重复生成并计算 三、持久化方式 可以 阅读全文

摘要： 一、典型的行动操作 （1）count():返回数据集中元素个数 （2）collect():以数组的形式返回数据集中所有元素 （3）first():返回数据集中第一元素 （4）take(n):以数组的形式返回数据集中前n个元素 （5）reduce(func):通过函数func聚合数据集中的元素 （6） 阅读全文

摘要： 一、惰性机制 RDD的惰性机制：RDD在进行转换时，只记录转换的轨迹，不发生计算，直到遇到第一个动作类型操作时，才进行计算。 二、常用的转换操作 （1）filter filter(func)：提供一个函数，过滤掉不符合这个函数的元素，筛选出符合的并返回一个新的数据集 （2）map map(func) 阅读全文