2019年12月3日
从Hive过渡到Spark SQL
摘要： SQLContext的使用 创建一个Scala项目，创建一个主类SQLContextApp package com.yy.spark import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.SQLContext /** * SQLContext的使用 * Spark 1.x使用 */ ... 阅读全文
posted @ 2019-12-03 17:53 YanceyY 阅读(1023) 评论(0) 推荐(0)
Spark SQL概述
摘要： 为什么要用SQL 1）事实上的标准 MySQL、Oacle、DB2、SQL Server都是用的SQL操作，DBA、运维人员使用SQL门槛比较低 2）易学易用 SQL对于不懂的人学习较容易 3）受众面广 无论做Java、.Net、Php都需要与数据库交互，都需要编写SQL Hive： 类似于SQL的Hive QL语言，sql语句转换为MapReduce作业提交到集群运行 优点： ... 阅读全文
posted @ 2019-12-03 17:37 YanceyY 阅读(314) 评论(0) 推荐(0)
Spark环境搭建
摘要： Spark官网和下载地址 官网 http://spark.apache.org/ spark-2.2.0源码下载链接 http://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0.tgz spark-2.2.0安装包下载连接 http://archive.apache.org/dist/spark/spark-2.2.0/sp... 阅读全文
posted @ 2019-12-03 17:32 YanceyY 阅读(347) 评论(0) 推荐(0)