随笔分类 -  spark

Spark入门到精通--（第十节）环境搭建（ZooKeeper和kafka搭建）
摘要：上一节搭建完了Hive，这一节我们来搭建ZooKeeper，主要是后面的kafka需要运行在上面。 ZooKeeper下载和安装 下载ZooKeeper 3.4.5软件包，可以在百度网盘进行下载。链接: http://pan.baidu.com/s/1gePE9O3 密码: unmt。 下载完用Xf 阅读全文
posted @ 2016-08-07 18:03 Epir 阅读(550) 评论(0) 推荐(0)
Spark入门到精通--（第九节）环境搭建（Hive搭建）
摘要：上一节搭建完了Hadoop集群，这一节我们来搭建Hive集群，主要是后面的Spark SQL要用到Hive的环境。 Hive下载安装 下载Hive 0.13的软件包，可以在百度网盘进行下载。链接: http://pan.baidu.com/s/1gePE9O3 密码: unmt。 下载完用Xftp上 阅读全文
posted @ 2016-08-07 14:02 Epir 阅读(518) 评论(0) 推荐(0)
Spark入门到精通--（第八节）环境搭建（Hadoop搭建）
摘要：上一节把Centos的集群免密码ssh登陆搭建完成，这一节主要讲一下Hadoop的环境搭建。 Hadoop下载安装 下载官网的Hadoop 2.4.1的软件包。http://hadoop.apache.org/，或在百度网盘进行下载。链接: http://pan.baidu.com/s/1gePE9 阅读全文
posted @ 2016-08-06 23:16 Epir 阅读(565) 评论(0) 推荐(0)
Spark入门到精通--（第七节）环境搭建（服务器搭建）
摘要：Spark搭建集群比较繁琐，需要的内容比较多，这里主要从Centos、Hadoop、Hive、ZooKeeper、kafka的服务器环境搭建开始讲。其中Centos的搭建不具体说了，主要讲下集群的配置。 环境搭建软件包 由于我是直接拿了三台现成的Centos 5.6的系统上进行搭建的，所以Cento 阅读全文
posted @ 2016-08-06 19:25 Epir 阅读(1808) 评论(0) 推荐(0)
Spark入门到精通--（第二节）Scala编程详解基础语法
摘要：Scala是什么？ Scala是以实现scaleable language为初衷设计出来的一门语言。官方中，称它是object-oriented language和functional language的混合式语言。 Scala可以和java程序无缝拼接，因为scala文件编译后也是成为.class 阅读全文
posted @ 2016-08-06 11:20 Epir 阅读(2015) 评论(1) 推荐(0)
Spark入门到精通--（第一节）Spark的前世今生
摘要：最近由于公司慢慢往spark方面开始转型，本人也开始学习，今后陆续会更新一些spark学习的新的体会，希望能够和大家一起分享和进步。 Spark是什么？ Apache Spark™ is a fast and general engine for large-scale data processin 阅读全文
posted @ 2016-08-05 22:01 Epir 阅读(2650) 评论(1) 推荐(0)