摘要： 部署完metrics-server后，执行kubectl top node，出现报错： add config to apiserver 重启apiserver，解决 阅读全文

摘要： 由于Prometheus是go语言写的，所以不需要编译，安装的过程非常简单，仅需要解压然后运行。Prometheus官方下载地址:https://prometheus.io/download/ 安装Prometheus server node_exporter安装 配置(关闭之前运行的node_ex 阅读全文

摘要： 注意： 问题：Failed:execution error: return code 1 from org.apache.hadoop.hive.ql.exec.DDL Task MetaException(message:For direct metaStore DB connections,we 阅读全文

摘要： 1.Client上传文件流程 a.Client先和namenode通信，判断上传文件的目录是否存在 b.再将操作日志记录到edits文件中 c.文件拷贝 d.上传完毕后，同步到namenode的元数据 2.mapreduce读取半行数据如何处理： a.后一分片的半行数据给前一分片 b.偏移量不为零， 阅读全文

摘要： 说起大数据处理啊，一切都起源于Google公司的经典论文。在当时（2000年左右），由于网页数量急剧增加，Google公司内部平时要编写很多的程序来处理大量的原始数据：爬虫爬到的网页、网页请求日志；计算各种类型的派生数据：倒排索引、网页的各种图结构等等。这些计算在概念上很容易理解，但由于输入数据量很 阅读全文

摘要： 前言 Pig最早是雅虎公司的一个基于Hadoop的并行处理架构，后来Yahoo将Pig捐献给Apache的一个项目，由Apache来负责维护，Pig是一个基于 Hadoop的大规模数据分析平台。 Pig为复杂的海量数据并行计算提供了一个简 易的操作和编程接口，这一点和FaceBook开源的Hive一 阅读全文

摘要： 一、Hadoop 系统架构 1.1 Hadoop1.x和Hadoop2.x 架构 在介绍HA之前，我们先来看下Hadoop的系统架构，这对于理解HA是至关重要的。Hadoop 1.x之前，其官方架构如图1所示: [ 图1.Hadoop 1.x架构图 ] 从图中可看出，1.x版本之前只有一个Namen 阅读全文

摘要： 一、环境 操作系统：Centos 6.5 网卡： 内网ip地址 二、安装 1、验证内核是否加载了MPPE模块 内核的MPPE模块用于支持Microsoft Point-to-Point Encryption。Windows自带的VPN客户端就是使用这种加密方式，linux内核版本 等于或高于 2.6 阅读全文

摘要： 第一步Debian / Ubuntu: apt-get install python-pip pip install shadowsocks CentOS: yum install python-setuptools && easy_install pip pip install shadowsoc 阅读全文

摘要： 关于分层 请忘掉大学课本上学的七层模型，我们使用四层模型更为贴合我们的实际网络。应用层，传输层，网络层，网络接入层。 网络传输层 网络传输层负责最底层的底层链路连接。两台主机之间进行互联，基于网线的物理硬件上的协议。在这个层面，主机与主机的交互只认得硬件mac编号，并不认识IP。这个层需要了解的一个 阅读全文