摘要： Spark运行架构 基本概念 RDD：分布式内存的抽象概念，高度受限的共享内存模型 DAG：有向无环图，反应RDD的依赖关系 Executot：运行在工作节点的一个进程，负责运行任务，存储数据 任务Task：运行在Executor上的工作单元 作业：一个作业包含多个RDD及作用于相应RDD的操作 阶 阅读全文

摘要： 判断一个整数是否是回文数。 题解 普通解法：将整数转为字符串，然后对字符串做判断。 我的解法代码 取出后半段数字进行翻转 每次进行取余操作，取出最低数字 将最低数字加到取出数的末尾 每取一位最低数，x就要/10 判断x是否小于取出数，小于时代表已经对半 如果是偶数，则两者相等，如果是奇数，需要/10 阅读全文

摘要： 在Spark中，RDD（弹性分布式数据集）存在依赖关系，宽依赖和窄依赖。 宽依赖和窄依赖的区别是RDD之间是否存在shuffle操作。 窄依赖 窄依赖指父RDD的每一个分区最多被一个子RDD的分区所用，即一个父RDD对应一个子RDD或多个父RDD对应一个子RDD map,filter,union属于 阅读全文