摘要: CSDN与CNBLOG互为备份 阅读全文
posted @ 2015-06-07 13:10 eagleGeek 阅读(91) 评论(0) 推荐(0) 编辑
摘要: 一、快速入门(一)下载安装1、下载并解压wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gztar -zxvf sqoop-1.4.4-cdh5.1.2.tar.gz2、将sqoop中的命令添加至$PATH中e... 阅读全文
posted @ 2015-06-06 11:40 eagleGeek 阅读(425) 评论(0) 推荐(0) 编辑
摘要: hadoop集群中主要进程有master: NameNode, ResourceManager,slaves: DataNode, NodeManager, RunJar, MRAppMaster,YarnChild其中 RunJar, MRAppMaster,YarnChild与随着某个job的创... 阅读全文
posted @ 2015-06-06 11:37 eagleGeek 阅读(187) 评论(0) 推荐(0) 编辑
摘要: (一)简单入门1、创建一个表create table if not exists ljh_emp(name string,salary float,gender string)comment 'basic information of a employee'row format delimited ... 阅读全文
posted @ 2015-06-06 11:27 eagleGeek 阅读(239) 评论(0) 推荐(0) 编辑
摘要: 一、公钥加密 假设一下,我找了两个数字,一个是1,一个是2。我喜欢2这个数字,就保留起来,不告诉你们(私钥),然后我告诉大家,1是我的公钥。我有一个文件,不能让别人看,我就用1加密了。别人找到了这个文件,但是他不知道2就是解密的私钥啊,所以他解不开,只有我可以用数字2,就是我的私钥,来解密。这样我就... 阅读全文
posted @ 2015-05-06 16:25 eagleGeek 阅读(142) 评论(0) 推荐(0) 编辑
摘要: 一、下载并解压$ wget http://cdn.mysql.com/Downloads/MySQL-5.5/MySQL-5.5.42-1.el6.x86_64.rpm-bundle.tar解压后得到以下几个文件:$ tar -xvf MySQL-5.5.42-1.el6.x86_64.rpm-bu... 阅读全文
posted @ 2015-04-28 14:31 eagleGeek 阅读(129) 评论(0) 推荐(0) 编辑
摘要: 1、spark是一个基于内存计算的开源的集群计算系统,目的是让数据分析更加快速。因此运行spark的机器应该尽量的大内存,如96G以上。2、spark所有操作均基于RDD,操作主要分成2大类:transformation与action。3、spark提供了交互处理接口,类似于shell的使用。4、s... 阅读全文
posted @ 2015-04-28 12:33 eagleGeek 阅读(315) 评论(0) 推荐(0) 编辑
摘要: spark可以通过交互式命令行及编程两种方式来进行调用:前者支持scala与python后者支持scala、python与java本文参考https://spark.apache.org/docs/latest/quick-start.html,可作快速入门再详细资料及用法请见https://spa... 阅读全文
posted @ 2015-04-28 11:10 eagleGeek 阅读(502) 评论(0) 推荐(0) 编辑
摘要: 集群环境搭建请见:http://blog.csdn.net/jediael_lu/article/details/45145767一、环境准备1、安装linux、jdk2、下载hadoop2.6.0,并解压3、配置免密码ssh(1)检查是否可以免密码: $ ssh localhost(2)若否:$ ... 阅读全文
posted @ 2015-04-27 18:59 eagleGeek 阅读(153) 评论(0) 推荐(0) 编辑
摘要: 本文介绍安装spark单机环境的方法,可用于测试及开发。主要分成以下4部分:(1)环境准备(2)安装scala(3)安装spark(4)验证安装情况1、环境准备(1)配套软件版本要求:Spark runs on Java 6+ and Python 2.6+. For the Scala API, ... 阅读全文
posted @ 2015-04-27 14:52 eagleGeek 阅读(181) 评论(0) 推荐(0) 编辑