2017年1月13日
Spark&Hive结合起来
摘要： 1.spark与Hive结合起来 前提:当你spark的版本是1.6.1的时候,你的Hive版本要1.2.1,用别的版本会有问题 我们在做的时候,Hive的版本很简单,我们只需要解压缩,告诉他Hive的源数据在哪里即可 1.首先我们进入/conf/hive-site.xml文件,进行修改jdbc的配 阅读全文
posted @ 2017-01-13 20:43 蜗牛不爱海绵宝宝 阅读(465) 评论(0) 推荐(0)
spark&dataframe
摘要： 1.今天,我们来介绍spark以及dataframe的相关的知识点,但是在此之前先说一下对以前的hadoop的一些理解 当我启动hadoop的时候,上面有hdfs的存储结构,由于这个是分布式存储,所以当一个节点挂了之后,此后由于 还有别的机器上存储这些block块(这里面你肯定要问了,我们怎么知道它 阅读全文
posted @ 2017-01-13 01:38 蜗牛不爱海绵宝宝 阅读(356) 评论(0) 推荐(0)