huan1993的技术分享

摘要： 1、背景 在我们的项目中有这么一个场景，需要消费kafka中的消息，并生成对应的工单数据。早些时候程序运行的好好的，但是有一天，我们升级了容器的配置，结果导致部分消息无法消费。而消费者的代码是使用CompletableFuture.runAsync(() -> {while (true){ .... 阅读全文

摘要： # 1、背景 最近在学习Hadoop的MapReduce，此处记录一下如何实现 `TopN` 的效果，以及在MapReduce中如何实现 `自定义分组`。 # 2、需求 我们有一份数据，数据中存在如下3个字段，`订单编号`,`订单项`和`订单项价格`。 输出的数据，需求如下： 1. `订单编号`与订 阅读全文

摘要： # 1、什么是MapReduce 1. Hadoop MapReduce 是一个 `分布式计算框架`，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集） 2. MapReduce 是一种`面向海量数据`处理的一种指导思想，也是一种 阅读全文

摘要： # 1、背景(灰度部署) 在我们系统发布生产环境时，有时为了确保新的服务逻辑没有问题，会让一小部分特定的用户来使用新的版本（`比如客户端的内测版本`），而其余的用户使用旧的版本，那么这个在Spring Cloud中该如何来实现呢？ `负载均衡组件使用：Spring Cloud LoadBalance 阅读全文

摘要： # 1、背景 我们知道，在`hdfs`中，我们的数据是以`block`块存储在我们的磁盘上的，那么默认情况下，它是以`密文`存储的，还是以`明文`存储的呢？如果是明文存储的，那么是否就不安全呢？那么在`hdfs`中是如何做才能做到数据的`透明加密`呢？ # 2、常见的加密层级 ![常见的加密层级]( 阅读全文

摘要： # 1、背景 在我们开发的过程中有这么一种场景， `/projectA` 目录是 `hadoopdeploy`用户创建的，他对这个目录有`wrx`权限，同时这个目录属于`supergroup`，在这个组中的用户也具有这个目录的`wrx`权限，对于其他人,不可访问这个目录。现在有这么一个特殊的用户`r 阅读全文

摘要： # 1、背景 我们知道，在`mac`系统上删除文件，一般情况下是可以进入 `废纸篓`里的，如果此时我们误删除了，还可以从 废纸篓中恢复过来。那么在`hdfs`中是否存在类似mac上的`废纸篓`这个功能呢？答案是存在的。 ![废纸篓](https://img-blog.csdnimg.cn/b668c 阅读全文

摘要： 1、背景 此处简单的记录一下在 oracle中如何使用plsql语法，记录一些简单的例子，防止以后忘记。 2、变量的声明 declare -- 声明变量 v_name varchar2(20); -- 此变量由 select into 赋值 v_man_sex number; -- v_sex 变量 阅读全文

摘要： 1、背景 当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。 2、集群黑白名单 在hdfs集群中是存在黑名单和白名单的。 黑名单： 该文件包含不允许连接到nam 阅读全文

摘要： 1、背景 在我们的hadoop集群运行一段过程中，由于多种原因，数据在DataNade的磁盘之间的分布可能是不均匀。比如： 我们刚刚给某个DataNode新增加了一块磁盘或者集群上存在大批量的write & deltete操作等灯。那么有没有一种工具，能够使单个DataNode中的多个磁盘的数据均衡 阅读全文