下士闻道

摘要： scala中的main函数 java.lang.NoSuchMethodError: scala.tools.nsc.interpreter.ILoop.main 在Object对象中，需要添加main函数才能够右键，run CacheLoader 添加了spark-network-common依赖 阅读全文

摘要： 什么是spark,是一个分布式计算平台，或者说是分布式计算引擎，他的职责就是将指定的数据读入到各个node的内存中，然后计算。所以spark是具有泛化性质的，只要数据源是可读入的，读到内存里面之后，处理就和数据源没有关系了，你是HBASE，kudu,还是parquet都无所谓了。 什么是RDD，弹性 阅读全文

摘要： 其实你会发现很多概念都是基于RDD提出来的，比如分区，缓存这些操作的对象其实都是RDD；所以不要讲spark的分区，这其实很不专业，分区其实是属于RDD的概念（只有pair RDD才有分区概念） RDD在（一）已经介绍了RDD，本质上是数据的描述（检索条件）以及处理描述（算法）；等待着Action调 阅读全文

摘要： Spark内置了一些常见的文件格式的处理，包括text/json，csv，sequence等；Spark对于文件处理保持了开放性，还提供了可以通过InputFormat，OutputFormat来进行文件处理；这样只要是Hdfs支持文件格式，一定有对应的Format，只要有Input/OutputF 阅读全文

摘要： 关于Scheduler YARN有四种调度机制：Fair Schedule，Capacity Schedule，FIFO以及Priority； 其中Fair Scheduler是资源池机制，进入到里面的应用是共享pool里面的资源；只有当资源配比发生紧张的时候，才会根据权重来进行调整； Capaci 阅读全文

摘要： Driver，主要的职责是生成DAG以及生成物理执行计划（Physical Execution Plan）；Application，Job以及Stage都是在这个组建中生成的； ClusterMaster，包括五类： 1）Apache YARN，Hadoop原生资源调度框架 2）Apache Mes 阅读全文

摘要： Spark SQL Spark SQL主要分为两部分，一部分是Spark Sql在scala中直接，使用作为执行层面上的应用，本质上就是生成DAG的另外一种形式；其发生试下Driver中生成； 另外一部分是spark SQL作为查询引擎，供client端通过jdbc来进行调用； SparkConte 阅读全文

摘要： Spark中的对象 Spark的Conf，极简化的场景，可以设置一个空conf给sparkContext，在执行spark-submit的时候，系统会默认给sparkContext赋一个SparkConf； Application是顶级的，每个spark-submit就是一个application； 阅读全文

摘要： 通过cloudera的旧版VM（centos6版本）跑spark，之后，想看一下日志研究一下job，stage以及task，压力很大的发现完全没有日志，180088页面打开后： Event log directory: hdfs://quickstart.cloudera:8020/user/spa 阅读全文

摘要： combineBykey关键是要明白里面的三个函数： 1. 当某个key第一次出现的时候，走的是第一个函数（createCombin）；A function that creates a combiner. In the aggregateByKey function the first argum 阅读全文