08 2017 档案

Spark- ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
摘要：报错 纠错:把prom文件中的hadoop依赖删除 阅读全文
posted @ 2017-08-31 11:38 RZ_Lee 阅读(923) 评论(0) 推荐(0)
Spark- Linux下安装Spark
摘要：Spark- Linux下安装Spark 前期部署 1.JDK安装，配置PATH 可以参考之前配置hadoop等配置 2.下载spark-1.6.1-bin-hadoop2.6.tgz,并上传到服务器解压 3.在 /usr 下创建软链接到目标文件夹 4.修改配置文件,目标目录 /usr/spark/ 阅读全文
posted @ 2017-08-29 12:06 RZ_Lee 阅读(596) 评论(0) 推荐(0)
Redis- 内存数据库Redis之安装部署
摘要：内存数据库Redis之安装部署 Redis是一款非关系型，key-value存储的内存数据库，Redis数据库完全在内存中，使用磁盘仅用于持久性。Redis的速度非常快，每秒能执行约11万集合，每秒约81000+条记录。 支持丰富的数据类型：Redis支持字符串、列表、集合、有序集合散列数据类型，这 阅读全文
posted @ 2017-08-21 19:25 RZ_Lee 阅读(259) 评论(0) 推荐(0)
Hadoop- 流量汇总程序之如何实现hadoop的序列化接口及代码实现
摘要：流量汇总程序需求 统计每一个用户（手机号）锁耗费的总上行流量、下行流量、总流量。 流程剖析 阶段：map 读取一行数据，切分字段， 抽取手机号，上行流量，下行流量 context.write(手机号，bean) 阶段：reduce 汇总遍历每个bean，将其中的上行流量，下行流量分别累加，得到一个新 阅读全文
posted @ 2017-08-15 15:15 RZ_Lee 阅读(486) 评论(0) 推荐(0)
Hadoop- Wordcount程序原理及代码实现
摘要：如果对Hadoop- MapReduce分布式计算框架原理还不熟悉的可以先了解一下它，因为本文的wordcount程序实现就是MapReduce分而治之最经典的一个范例。 单词计数（wordcount）主要步骤： 1.读数据 2.按行处理 3.按空格切分行内单词 4.HashMap（单词，value 阅读全文
posted @ 2017-08-15 02:28 RZ_Lee 阅读(1788) 评论(2) 推荐(1)
Hadoop- MapReduce分布式计算框架原理
摘要：分布式计算： 原则：移动计算而尽可能减少移动数据（减少网络开销） 分布式计算其实就是将单台机器上的计算拓展到多台机器上并行计算。 MapReduce是一种编程模型。Hadoop MapReduce采用Master/slave 结构。只要按照其编程规范，只需要编写少量的业务逻辑代码即可实现一个强大的海 阅读全文
posted @ 2017-08-15 01:50 RZ_Lee 阅读(6975) 评论(0) 推荐(1)
Hadoop- NameNode和Secondary NameNode元数据管理机制
摘要：元数据的存储机制 A、内存中有一份完整的元数据(内存meta data) B、磁盘有一个“准完整”的元数据镜像（fsimage）文件(在namenode的工作目录中) C、用于衔接内存metadata和持久化元数据镜像fsimage之间的操作日志（edits文件） NameNode和Secondar 阅读全文
posted @ 2017-08-14 13:53 RZ_Lee 阅读(364) 评论(0) 推荐(0)
Sqooop- 使用Sqoop进行数据的导入导出
摘要：Sqoop是Apache旗下的一个开源框架，专门用来做数据的导入和导出。 官网:https://sqoop.apache.org/ Sqoop的安装非常简单，只需要把下载下来的tar包解压设置两个环境变量就可以了 1.安装部署 下载版本：sqoop-1.4.6.bin__hadoop-2.0.4-a 阅读全文
posted @ 2017-08-12 12:56 RZ_Lee 阅读(6810) 评论(0) 推荐(0)
Hive- Hive Web Interface
摘要：当我们安装好hive时候，我们启动hive的UI界面的时候，命令: hive –-service hwi ，报错，没有war包 我们查看hive/conf/hive-default.xml.template，查找hwi 把这3台属性复制，添加到hive-site.xml里面， vim hive-si 阅读全文
posted @ 2017-08-09 14:23 RZ_Lee 阅读(794) 评论(0) 推荐(0)
Hive- Hive安装
摘要：Hive安装 1.1下载Hive安装包 官网：http://hive.apache.org/downloads.html 个人建议到这里下载：http://apache.forsale.plus/ 1.2将hive文件上传到HADOOP集群，并解压 将文件上传到 /usr ，解压 tar -zxvf 阅读全文
posted @ 2017-08-09 13:38 RZ_Lee 阅读(554) 评论(0) 推荐(0)
Linux- 恢复.swp文件
摘要：当我们对Linux文件系统下的文件编辑时，很多新手老手都有可能出现一些失误，在对一个文件编辑或者改动，甚至是不小心按到键盘并没有发现改动到某处时，没有强制退出（：q！）就直接退出，导致文件变成了.swp后缀并隐藏起来。在对源文件编辑时提示你只读，还原，退出等等。 输入 ls -a或 ll -a 可以 阅读全文
posted @ 2017-08-09 12:39 RZ_Lee 阅读(2309) 评论(0) 推荐(0)
Hadoop HA- hadoop集群部署
摘要：前期部署，至少准备3台服务器（可以是虚拟机） 1、linux系统环境准备 ip地址配置 hostname配置 hosts映射配置 关闭防火墙 service iptables stop ,也可以设置防火墙不开机自启动 chkconfig iptables off init启动级别修改 2.java环 阅读全文
posted @ 2017-08-09 11:38 RZ_Lee 阅读(400) 评论(0) 推荐(0)
大数据之路- Hadoop环境搭建（Linux）
摘要：前期部署 1.JDK 2.上传HADOOP安装包 2.1官网：http://hadoop.apache.org/ 2.2下载hadoop-2.6.1的这个tar.gz文件，官网： https://archive.apache.org/dist/hadoop/common/hadoop-2.6.1/ 阅读全文
posted @ 2017-08-09 10:29 RZ_Lee 阅读(405) 评论(0) 推荐(0)
Hadoop HA- zookeeper安装配置
摘要：安装集群 1.1 虚拟机： 3台安装好JDK的centos Linux虚拟机 1.2 安装包： 把下载好的zookeeper安装包，官网：http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.8/ 上传到服务器。 1.3解压 tar –xvz 阅读全文
posted @ 2017-08-07 22:03 RZ_Lee 阅读(394) 评论(0) 推荐(0)
Zookeeper- Error contacting service. It is probably not running解决方案和原理
摘要：搭建启动Zookeeper集群出现Error contacting service. It is probably not running解决方案和原理 1.关闭防火墙 2.检查zookeeper状态 3.查看log日志文件 以下是相关Exception： 注意颜色字体，意思是无法打开选举通道2和3 阅读全文
posted @ 2017-08-04 15:39 RZ_Lee 阅读(4250) 评论(0) 推荐(0)