huan1993的技术分享

摘要： 1、背景 此处简单的记录一下在 oracle中如何使用plsql语法，记录一些简单的例子，防止以后忘记。 2、变量的声明 declare -- 声明变量 v_name varchar2(20); -- 此变量由 select into 赋值 v_man_sex number; -- v_sex 变量 阅读全文

摘要： 1、背景 当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单 在hdfs集群中是存在黑名单和白名单的。 黑名单： 该文件包含不允许连接到nam 阅读全文

摘要： 1、背景 在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。比如： 我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write & deltete操作等灯。那么有没有一种工具，能够使单个DataNode中的多个磁盘的数据均衡 阅读全文

摘要： 1、背景 当我们的hadoop集群运行了一段时间之后，各个DataNode上的数据分布并不一定是均匀分布的。比如说： 我们向现有集群中添加了一个新的DataNode。 2、什么是平衡 此处是我自己的一个简单的理解 所谓的平衡指的是 每个DataNode的利用率 与 集群的利用率 之间相差不超过给定的 阅读全文

摘要： 1、背景 在HDFS中，读取操作通常是通过DataNode。因此，当客户端要读取文件时，DataNode 会从磁盘上读取文件，然后通过TCP套接字将数据发送给客户端。如果我们的客户端和数据在同一台机器上的时候， 那么是否可以绕过DataNode，允许客户端直接读取数据呢？通过Short-Circui 阅读全文

摘要： 在我们实际的开发过程中，我们的某些数据可能经常使用，但是过了一段时间，这个数据就不怎么使用了，即我们的数据存在一个`热`、`温`、`冷`等这些特性。那么针对`数据的热度`，我们可以采用不同的策略，存储到不同的存储介质上。 阅读全文

摘要： 1、背景 最近用到了Spring Cloud Alibaba开发微服务，在开发的过程中发现，当我们的服务上线或下线的时候，我们的Spring Cloud Gateway需要一段时间才能感知到，那么有没有办法能够让服务立即感知到呢？答案是可以的。 此种实现方式是我自己记录下，目前未在生产环境中使用，此 阅读全文

摘要： 1、背景 在上一节中，我们简单学习了在命令行上如何操作hdfs shell api，此处我们通过java程序来操作一下。 2、环境准备 需要在本地环境变量中 配置 HADOOP_HOME 或在程序启动的时候通过命令行指定hadoop.home.dir的值，值为HADOOP的home目录地址。可通过o 阅读全文

摘要： 1、背景 此处我们通过命令行，简单的学习一下 hdfs file system shell 的一些操作。 2、hdfs file system shell命令有哪些 我们可以通过如下网址https://hadoop.apache.org/docs/current/hadoop-project-dis 阅读全文

摘要： 1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| 阅读全文