---江北

摘要： 一、SparkSQL结合hive 1.首先通过官网查看与hive匹配的版本 这里可以看到是1.2.1 2.与hive结合 spark可以通过读取hive的元数据来兼容hive，读取hive的表数据，然后在spark引擎中进行sql统计分析，从而，通过sparksql与hive结合实现数据分析将成为一 阅读全文

摘要： 一、概述 1.什么是sparkSQL 根据官网的解释： Spark SQL is a Spark module for structured data processing. 也就是说，sparkSQL是一个处理结构化数据的组件 更多的介绍，可以参见官网或者w3c：https://www.w3csc 阅读全文

摘要： 一、概述 1.kettle是什么 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 更多介绍，参考kettle中文网 阅读全文

摘要： 一、JdbcRDD与关系型数据库交互 虽然略显鸡肋，但这里还是记录一下（点开JdbcRDD可以看到限制比较死，基本是鸡肋。但好在我们可以通过自定义的JdbcRDD来帮助我们完成与关系型数据库的交互。这点和Hadoop需要借助sqoop等工具进行是有优势的！） 给出一个demo的参考链接：https: 阅读全文

摘要： 一、自定义分区 1.概述 默认的是Hash的分区策略，这点和Hadoop是类似的，具体的分区介绍，参见：https://blog.csdn.net/high2011/article/details/68491115 2.实现 // 与Hadoop相通，不再赘述 二、自定义排序 基本上就是结合之前的隐 阅读全文

摘要： 一、RDD概述 1.什么是RDD RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时 阅读全文

摘要： 一、概述 1.什么是spark 从官网http://spark.apache.org/可以得知： Apache Spark™ is a fast and general engine for large-scale data processing. 主要的特性有： Speed：快如闪电（HADOOP 阅读全文

摘要： 一、概述 1.什么是akka Akka基于Actor模型，提供了一个用于构建可扩展的（Scalable）、弹性的（Resilient）、快速响应的（Responsive）应用程序的平台。 更多入门的基础与介绍，参考：https://www.iteblog.com/archives/1154.html 阅读全文

摘要： 注：我们现在学的Scala Actor是scala 2.10.x版本及以前版本的Actor。 Scala在2.11.x版本中将Akka加入其中，作为其默认的Actor，老版本的Actor已经废弃 一、概述 1.什么是actor Scala的Actor类似于Java中的多线程编程。但是不同的是，Sca 阅读全文

摘要： 一、 类、对象、继承、特质 1.类 Scala的类与Java、C++的类比起来更简洁 定义： 当然，变量和Java一样可以进行访问控制： //对象私有字段,访问权限更加严格的，Person类的方法只能访问到当前对象的字段 private[this] val pet = "小强" 构造器： 2.对象 阅读全文