摘要：
1、背景 当我们的hadoop集群运行了一段时间之后，各个DataNode上的数据分布并不一定是均匀分布的。比如说： 我们向现有集群中添加了一个新的DataNode。 2、什么是平衡 此处是我自己的一个简单的理解 所谓的平衡指的是 每个DataNode的利用率 与 集群的利用率 之间相差不超过给定的 阅读全文
摘要：
1、背景 在HDFS中，读取操作通常是通过DataNode。因此，当客户端要读取文件时，DataNode 会从磁盘上读取文件，然后通过TCP套接字将数据发送给客户端。如果我们的客户端和数据在同一台机器上的时候， 那么是否可以绕过DataNode，允许客户端直接读取数据呢？通过Short-Circui 阅读全文
摘要：
在我们实际的开发过程中，我们的某些数据可能经常使用，但是过了一段时间，这个数据就不怎么使用了，即我们的数据存在一个`热`、`温`、`冷`等这些特性。那么针对`数据的热度`，我们可以采用不同的策略，存储到不同的存储介质上。 阅读全文
摘要：
1、背景 最近用到了Spring Cloud Alibaba开发微服务，在开发的过程中发现，当我们的服务上线或下线的时候，我们的Spring Cloud Gateway需要一段时间才能感知到，那么有没有办法能够让服务立即感知到呢？答案是可以的。 此种实现方式是我自己记录下，目前未在生产环境中使用，此 阅读全文
摘要：
1、背景 在上一节中，我们简单学习了在命令行上如何操作hdfs shell api，此处我们通过java程序来操作一下。 2、环境准备 需要在本地环境变量中 配置 HADOOP_HOME 或在程序启动的时候通过命令行指定hadoop.home.dir的值，值为HADOOP的home目录地址。可通过o 阅读全文
摘要：
1、背景 此处我们通过命令行，简单的学习一下 hdfs file system shell 的一些操作。 2、hdfs file system shell命令有哪些 我们可以通过如下网址https://hadoop.apache.org/docs/current/hadoop-project-dis 阅读全文
摘要：
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| 阅读全文
摘要：
1、背景 最近在学习hadoop，此篇文章简单记录一下通过源码来编译hadoop。为什么要重新编译hadoop源码，是因为为了匹配不同操作系统的本地库环境。 2、编译源码 2.1 下载并解压源码 [root@hadoop01 ~]# mkdir /opt/hadoop [root@hadoop01 阅读全文
摘要：
1、背景 此篇文档仅仅是简单的记录一下painless的一些简单的例子，防止以后忘记，不过多涉及painless的语法。 2、准备数据 2.1 mapping PUT /index_person { "mappings": { "properties": { "name": { "type": "k 阅读全文
摘要：
1、背景 此篇文档简单的记录一下在es使用bucket script来进行聚合的一个例子。 2、需求 假设我们有一个简单的卖车数据，记录每个月month在卖了brand品牌的车salesVolume的数量。 此处我们需要聚合出 每个月brand=宝马的车在每个月的销售占比 3、准备数据 3.1 ma 阅读全文