随笔分类 -  Hadoop

Mac 环境 Hadoop 提交 job 报错 /bin/bash: /bin/java: No such file or directory
摘要：Mac 环境 Hadoop 提交 job 报错 /bin/bash: /bin/java: No such file or directory ➜ hadoop-2.9.2 bin/hadoop jar /Users/leone/Documents/hadoop-wc.jar com.leone.b 阅读全文
posted @ 2020-06-20 21:45 janlle 阅读(657) 评论(0) 推荐(0)
Hadoop HA 搭建
摘要：Hadoop HA 什么是 HA HA是High Available缩写，是双机集群系统简称，指高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在 阅读全文
posted @ 2019-05-22 20:39 janlle 阅读(488) 评论(0) 推荐(0)
Ubuntu下编译 Hadoop2.9
摘要：Ubuntu 下编译 Hadoop 2.9.2 系统环境 安装所需环境 编译过程中可能遇到的问题 注意 libssl dev安装换成 libssl1.0 dev版本。 我之前就是默认安转，在编译OpenSSL功能的时候一直卡主编译不通过。具体错误形式如下 开始编译 hadoop 大功告成编译后的ha 阅读全文
posted @ 2019-05-13 21:08 janlle 阅读(396) 评论(0) 推荐(0)
Mac 下编译 Hadoop
摘要：Mac 下编译 Hadoop 2.9.2 系统环境 搭建编译环境 1.java环境在oracle官网下载安装安装好配置好环境变量 2.maven我用的是brew直接安装的 3.cmake 使用brew安装 4.openssl 使用brew安装 5.snappy 使用brew安装 6.zlib 使用b 阅读全文
posted @ 2019-05-11 12:32 janlle 阅读(634) 评论(0) 推荐(0)
Windows下编译 Hadoop
摘要：Windows下编译 Hadoop 2.9.2 系统环境 Hadoop源码包你们的的编译环境要求 编译必须要设置的环境变量 1.JAVA_HOME必须要设置这个环境变量指向jdk的安装目录 2.Platform这个环境变量也必须设置32位系统为 64位系统为 3.ZLIB_HOME为你zlib的安装 阅读全文
posted @ 2019-05-08 17:52 janlle 阅读(1603) 评论(0) 推荐(0)
Hadoop 核心概念及入门
摘要：Hadoop Hadoop背景 什么是HADOOP HADOOP是apache旗下的一套开源软件平台HADOOP提供利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理,HADOOP的核心组件有:HDFS（分布式文件系统）、YARN（运算资源调度系统）、MAPREDUCE（分布式运算编 阅读全文
posted @ 2019-01-11 09:34 janlle 阅读(1113) 评论(0) 推荐(0)