02 2018 档案

Spark之 使用SparkSql操作mysql和DataFrame的Scala实现
摘要：通过读取文件转换成DataFrame数据写入到mysql中 从mysql中读取数据到DataFrame中 阅读全文
posted @ 2018-02-18 22:07 青衫仗剑 阅读(1805) 评论(0) 推荐(0)
Spark之 SparkSql整合hive
摘要：整合： 1，需要将hive-site.xml文件拷贝到Spark的conf目录下，这样就可以通过这个配置文件找到Hive的元数据以及数据存放位置。 2，如果Hive的元数据存放在Mysql中，我们还需要准备好Mysql相关驱动，比如：mysql-connector-java-5.1.35.jar。 阅读全文
posted @ 2018-02-18 21:35 青衫仗剑 阅读(663) 评论(0) 推荐(0)
Spark之 使用SparkSql操作Hive的Scala程序实现
摘要：依赖 scala代码 hive-site.xml 还需要把hdfs上的user/hive/warehouse目录 chmod 777，不然程序访问不了会报错 阅读全文
posted @ 2018-02-18 21:21 青衫仗剑 阅读(3900) 评论(0) 推荐(0)
Spark之 RDD转换成DataFrame的Scala实现
摘要：依赖 RDD转化成DataFrame:通过StructType指定schema RDD转化成DataFrame:利用反射机制推断schema 阅读全文
posted @ 2018-02-18 20:58 青衫仗剑 阅读(1871) 评论(0) 推荐(0)
Spark之 SparkSql、DataFrame、DataSet介绍
摘要：SparkSql SparkSql是专门为spark设计的一个大数据仓库工具，就好比hive是专门为hadoop设计的一个大数据仓库工具一样。 特性： DataFrame DataFrame前身叫SchemaRDD,在spark1.3.0之后把schemaRDD改名为DataFrame,DataFr 阅读全文
posted @ 2018-02-15 16:53 青衫仗剑 阅读(460) 评论(0) 推荐(0)
Spark之 RDD
摘要：简介 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。 Resilient：弹性，它表示的含义rdd的数据是可以保存在内存中或者是磁盘中。 Distributed：它的数据 阅读全文
posted @ 2018-02-15 16:18 青衫仗剑 阅读(400) 评论(0) 推荐(0)
Spark scala和java的api使用
摘要：1、利用scala语言开发spark的worcount程序（本地运行） 2、利用scala语言开发spark的wordcount程序（集群运行） 最后打成jar包 到集群上执行 3、利用java语言开发spark的wordcount程序（本地运行） 阅读全文
posted @ 2018-02-12 13:22 青衫仗剑 阅读(318) 评论(0) 推荐(0)
Spark角色介绍及spark-shell的基本使用
摘要：Spark角色介绍 1、Driver 它会运行客户端的main方法，构建了SparkContext对象，它是所有spark程序的入口 2、Application 它就是一个应用程序，包括了Driver端的代码和当前这个任务在运行的时候需要的资源信息 3、Master 它是整个spark集群的老大，负 阅读全文
posted @ 2018-02-10 18:08 青衫仗剑 阅读(1660) 评论(0) 推荐(0)
Apache Spark介绍及集群搭建
摘要：简介 Spark是一个针对于大规模数据处理的统一分析引擎。其处理速度比MapReduce快很多。其特征有： 1、速度快 2、易用性 3、通用性 4、兼容性 Spark集群的安装部署 1 新建文件夹，分别用来存放压缩包、解压后的文件 2 把安装文件放到服务器上的software文件夹内 然后解压到se 阅读全文
posted @ 2018-02-10 16:53 青衫仗剑 阅读(666) 评论(0) 推荐(0)
MyCat的安装及基本使用（MySQL分库分表）
摘要：1.Mycat的简介 1.1 数据库集群产生的背景 如今随着互联网的发展，数据的量级也是成指数的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少 阅读全文
posted @ 2018-02-06 20:04 青衫仗剑 阅读(909) 评论(0) 推荐(0)