随笔分类 -  spark SQL

Spark Sql （save and load）
摘要：load:加载数据 ,使其变成dataframe save:保存数据 load和save默认使用的是parquet格式，当然也可以通过format("json"), format("parquet")转换 SparkConf conf = new SparkConf().setMaster("loc 阅读全文
posted @ 2016-06-05 18:16 王金松 阅读(495) 评论(0) 推荐(0)
Spark SQL on HIVE
摘要：1. SPARK CONF中添加hive-site.xml hive.metastore.uris thrift://master:9083 2. 启动hive元数据 hive --metastore >meta.log 2>&1 & 3. scala>val hiveContext = new o 阅读全文
posted @ 2016-06-05 13:13 王金松 阅读(419) 评论(0) 推荐(0)
spark hive区别
摘要：一:Hive本质是是什么 1：hive是分布式又是数据仓库，同时又是查询引擎，Spark SQL只是取代的HIVE的查询引擎这一部分，企业一般使用Hive+spark SQL进行开发 2：hive的主要工作 1> 把HQL翻译长map-reduce的代码，并且有可能产生很多mapreduce的job 阅读全文
posted @ 2016-06-05 12:05 王金松 阅读(11889) 评论(0) 推荐(0)