摘要： scala 基本语法 1.声明变量 (1)val i = 1 使用val声明的变量值是不可变的，相当于java里final修饰的变量，推荐使用。(2)var i = "hello" 使用var声明的变量值是可变的(3)val s = "hi" scala编译器会自动推断变量的类型，必要的时候可以指定 阅读全文

摘要： Spark简介 Spark是一种快速、通用、可扩展的大数据分析引擎，目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。简单来说Spark是 内存迭代计 阅读全文

摘要： 1、SparkSQL的发展历程 1.1 Hive and Shark SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程中大量 阅读全文