随笔分类 -  bigdata

摘要：什么计算运行在executor，什么算子运行在driver？ （1）、foreachRdd运行在driver节点，因为它是操作dstream的。foreachPartition和foreach运行在worker节点，因为它是操作rdd的。foreachRdd开启对任务的启动，当执行到执行算子的时候开 阅读全文

摘要：今天开始认真学习hive了，先了解下hive的主要工作原理 阅读全文

摘要：直接上代码，查看相关注释即可 object关键字及方法格式 /** * @Description: object： 关键字，声明一个单例对象（伴生对象） * @author : lijie * @date Date : 2021年10月16日 20:36 */ object HelloWorld { 阅读全文

摘要：MapReduce框架主要是map和reduce阶段来计算的，map和reduce是如何协同计算的，下面直接上干货。 1 分片、格式化数据源： 输入Map阶段的数据流，必须经过分片和格式化的操作，即： 分片操作：指的是将源文件划分为相等的小数据块（Hadoop2.x中默认为128M），也就是分片（s 阅读全文

摘要：入门 /** * Object: 关键字。声明一个单例对象（伴生对象） * */ object HelloWorld { /** * def 方法名称(参数名称: 参数类型): 返回值类型={方法体} * @param args */ def main(args: Array[String]): U 阅读全文