摘要：
异常日志如下： org.apache.hadoop.hdfs.server.namenode.FSImage: Caught exception after scanning through 0 ops from /usr/local/hadoop/tmp/data/dfs/journalnode/ 阅读全文
文章分类 - hadoop学习
Hadoop YARN中内存的设置
2018-10-24 15:12 by ljinch, 1382 阅读, 收藏,
摘要：
1）yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 （2）yarn.nodemanager.vmem-pm 阅读全文
hive2.3 remote模式安装
2018-08-31 10:37 by ljinch, 362 阅读, 收藏,
摘要：
1.环境准备 JDK:1.8 （jdk-8u144-linux-x64.tar.gz） Hadoop:2.8.4 (hadoop-2.8.4.tar.gz) Mysql： 5.6 Hive： 2.3.3 ( apache-hive-2.3.3-bin.tar.gz ) 两台服务器：master(hi 阅读全文
hadoop 2.8.4集群安装(hive on spark)
2018-08-15 14:38 by ljinch, 605 阅读, 收藏,
摘要：
1 概述 为了避免在后续搭建中继续踩坑，特此整理。（JAVA SDK安装在此忽略） spark需要自己编译，已编译好的版本下载地址为：https://download.csdn.net/download/ljinch/10651973 hive版本： 3.0 hadoop 版本：2.8.4 2 服务 阅读全文
centos 7 zookeeper3.4集群搭建
2018-08-01 18:04 by ljinch, 78 阅读, 收藏,
摘要：
1.下载安装包 下载地址 http://mirrors.cnnic.cn/apache/zookeeper 解压相关文件 tar -zxvf zookeeper-3.4.13.tar.gz mv zookeeper-3.4.13 /home/zookeeper 2.修改配置文件 打开相应目录： cd 阅读全文
hadoop单机安装（cenos7.0）
2018-07-27 14:22 by ljinch, 132 阅读, 收藏,
摘要：
1.安装jdk及hadoop环境。 下載JDK:官网地址:JDK：http://www.oracle.com/technetwork/java/javase/downloads Hadopp:http://www.apache.org/dyn/closer.cgi/hadoop/common 解压到 阅读全文
浙公网安备 33010602011771号