2020年9月30日

动态规划
摘要： 特点： 1.计数 有多少种方式走到右下角 有多少种方法选出K个数使得和是sum 2.求最大最小值 从左上角走到右小角路径的最大数字和 最长上升序列长度 3.求存在性 取石子游戏，先手是否获胜 能不能选出K个数字使得和是SUM 阅读全文
posted @ 2020-09-30 14:53 happygril3 阅读(51) 评论(0) 推荐(0)
数据读取和保存
摘要： 文件格式：Text文件，Json文件，Csv文件，Sequence文件，Object文件 文件系统：本地文件系统，HDFS，HBASE以及数据库 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkCont 阅读全文
posted @ 2020-09-30 14:35 happygril3 阅读(117) 评论(0) 推荐(0)
分区器
摘要： 只有key-value类型的rdd才有分区器 1 HashPartitioner 分区方法 HashPartitioner 是通过对 RDD中的key求取hash值，再对hash值对分区数partitions 取余数得到，如果余数<0，那么就取“余数+partitions”，作为该row对应的分区编 阅读全文
posted @ 2020-09-30 13:46 happygril3 阅读(167) 评论(0) 推荐(0)
缓存
摘要： 1. cache/persist Spark 中一个很重要的能力是将数据persisting持久化（或称为caching缓存），在多个操作间都可以访问这些持久化的数据。 当持久化一个 RDD 时，每个节点的其它分区都可以使用 RDD 在内存中进行计算，在该数据上的其他 action 操作将直接使用内 阅读全文
posted @ 2020-09-30 10:34 happygril3 阅读(210) 评论(0) 推荐(0)

导航