2016 年 4月 20 日随笔档案 - 回家的流浪者

2016年4月20日

摘要：从spark1.2 到spark1.3，spark SQL中的SchemaRDD变为了DataFrame，DataFrame相对于SchemaRDD有了较大改变，同时提供了更多好用且方便的API。DataFrame将数据写入hive中时，默认的是hive默认数据库，insertInto没有指定数据库阅读全文

posted @ 2016-04-20 19:35 回家的流浪者阅读(25438) 评论(1) 推荐(0)

Spark SQL应用

摘要： Spark Shell启动后，就可以用Spark SQL API执行数据分析查询。在第一个示例中，我们将从文本文件中加载用户数据并从数据集中创建一个DataFrame对象。然后运行DataFrame函数，执行特定的数据选择查询。文本文件customers.txt中的内容如下：下述代码片段展示了阅读全文

posted @ 2016-04-20 19:29 回家的流浪者阅读(426) 评论(0) 推荐(0)