摘要: 从spark1.2 到spark1.3,spark SQL中的SchemaRDD变为了DataFrame,DataFrame相对于SchemaRDD有了较大改变,同时提供了更多好用且方便的API。DataFrame将数据写入hive中时,默认的是hive默认数据库,insertInto没有指定数据库 阅读全文
posted @ 2016-04-20 19:35 回家的流浪者 阅读(25296) 评论(1) 推荐(0) 编辑
摘要: Spark Shell启动后,就可以用Spark SQL API执行数据分析查询。 在第一个示例中,我们将从文本文件中加载用户数据并从数据集中创建一个DataFrame对象。然后运行DataFrame函数,执行特定的数据选择查询。 文本文件customers.txt中的内容如下: 下述代码片段展示了 阅读全文
posted @ 2016-04-20 19:29 回家的流浪者 阅读(413) 评论(0) 推荐(0) 编辑