摘要：
Tags： Hadoop Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive（CDH5.14.2离线安装tar包） Centos7.5安装分布式Hadoop2.6.0+Hbase+Hive（CDH5.14.2离线安装tar包） 主机环境 软件环境 主机规划 主机安装前准备 安装 阅读全文
posted @ 2018-06-14 17:39
leffss
阅读(1182)
评论(0)
推荐(0)
摘要：
在Hadoop 2.2.0中，YARN框架有很多默认的参数值，如果你是在机器资源比较不足的情况下，需要修改这些默认值，来满足一些任务需要。NodeManager和ResourceManager都是在yarn-site.xml文件中配置的，而运行MapReduce任务时，是在mapred-site.x 阅读全文
posted @ 2018-06-13 16:03
leffss
阅读(376)
评论(0)
推荐(0)
摘要：
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS , YARN , HBase , Hive , 阅读全文
posted @ 2018-06-13 16:02
leffss
阅读(721)
评论(0)
推荐(0)
摘要：
Hadoop主要版本 目前国内使用的不收费的Hadoop版本主要包括以下3个： Apache hadoop Cloudera的CDH Hortonworks版本(Hortonworks Data Platform，简称“HDP”） 注： Apache hadoop，最原始的版本，所有发行版均基于这个 阅读全文
posted @ 2018-06-13 16:01
leffss
阅读(1799)
评论(0)
推荐(0)
摘要：
Hadoop的起源 Doug Cutting是Hadoop之父 ，起初他开创了一个开源软件Lucene（用Java语言编写，提供了全文检索引擎的架构，与Google类似），Lucene后来面临与Google同样的错误。于是，Doug Cutting学习并模仿Google解决这些问题的办法，产生了一个 阅读全文
posted @ 2018-06-13 16:00
leffss
阅读(755)
评论(0)
推荐(0)
摘要：
要想知道每个数据库的大小的话，步骤如下： 1、进入information_schema 数据库（存放了数据库的信息） use information_schema; 2、查询所有数据库的大小： select concat(round(sum(data_length/1024/1024),2),'MB 阅读全文
posted @ 2018-05-31 14:27
leffss
阅读(330)
评论(0)
推荐(0)
摘要：
目录 目录 前言 集群详情 环境说明 安装前准备 提醒 一、创建TLS证书和秘钥 安装CFSSL 创建 CA (Certificate Authority) 创建 CA 配置文件 创建 CA 证书签名请求 生成 CA 证书和私钥 创建 kubernetes 证书 生成 kubernetes 证书和私 阅读全文
posted @ 2018-04-10 23:10
leffss
阅读(5184)
评论(0)
推荐(1)
摘要：
目录 目录 前言 集群详情 环境说明 安装前准备 提醒 一、创建TLS证书和秘钥 安装CFSSL 创建 CA (Certificate Authority) 创建 CA 配置文件 创建 CA 证书签名请求 生成 CA 证书和私钥 创建 kubernetes 证书 生成 kubernetes 证书和私 阅读全文
posted @ 2018-04-10 11:30
leffss
阅读(2141)
评论(0)
推荐(0)
摘要：
一、安装shadowsocks 二、后台运行shadowsocks，监听8888端口 加入开机启动 centos 7 centos 6 三、安装Privoxy 四、配置Privoxy 修改 vi /etc/privoxy/config 以下参数 在 /etc/privoxy/config 末尾添加参 阅读全文
posted @ 2018-04-10 11:29
leffss
阅读(1486)
评论(0)
推荐(0)
摘要：
有时候在linux下会遇到这种情况：df查看空间已经占用%100，但是找不到大文件，怎么回事呢，经过网上查找资料，得到解决方法： 1.使用lsof查看已删除但未释放的文件 lsof -n | grep deleted # 重启相关程序即可 2.如果lsof还是未查找到大文件，那有可能根目录下有隐藏文 阅读全文
posted @ 2018-03-15 09:32
leffss
阅读(4261)
评论(0)
推荐(0)
浙公网安备 33010602011771号