huan1993的技术分享

摘要： 目录1、背景2、需求3、思路4、实现步骤4.1 搭建一个简单的工程4.1.1 引入依赖4.1.2 编写Freemarker工具类4.1.3 编写pdf工具类4.1.4 增加一个模板4.1.5 增加一个控制层4.1.6 运行4.2 功能完善4.2.1 生成的pdf需要支持中文4.2.1.1 程序中引入 阅读全文

摘要： 1、背景 在我们的日常开发中，经常会存在在一个Service层中调用另外一个Service层的方法。比如：我们有一个TaskService，里面有一个execTask方法，且这个方法存在事务，这个方法在执行完之后，需要调用LogService的insertLog方法记录一条日志，这个方法上也有事务， 阅读全文

摘要： `最近在开发的过程中遇到这么一个问题，当产生某种类型的工单后，需要实时通知到另外的系统，由另外的系统进行数据的研判操作。` **由于某种原因**， 像向消息队列中推送工单消息、或直接调用另外系统的接口、或者部署`Cannal` 等都不可行，因此此处使用 `mysql-binlog-connector-java` 这个库来完成数据库`binlog`的监听，从而通知到另外的系统。 阅读全文

摘要： 1、背景 在我们的项目中有这么一个场景，需要消费kafka中的消息，并生成对应的工单数据。早些时候程序运行的好好的，但是有一天，我们升级了容器的配置，结果导致部分消息无法消费。而消费者的代码是使用CompletableFuture.runAsync(() -> {while (true){ .... 阅读全文

摘要： # 1、背景 最近在学习Hadoop的MapReduce，此处记录一下如何实现 `TopN` 的效果，以及在MapReduce中如何实现 `自定义分组`。 # 2、需求 我们有一份数据，数据中存在如下3个字段，`订单编号`,`订单项`和`订单项价格`。 输出的数据，需求如下： 1. `订单编号`与订 阅读全文

摘要： # 1、什么是MapReduce 1. Hadoop MapReduce 是一个 `分布式计算框架`，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集） 2. MapReduce 是一种`面向海量数据`处理的一种指导思想，也是一种 阅读全文

摘要： # 1、背景(灰度部署) 在我们系统发布生产环境时，有时为了确保新的服务逻辑没有问题，会让一小部分特定的用户来使用新的版本（`比如客户端的内测版本`），而其余的用户使用旧的版本，那么这个在Spring Cloud中该如何来实现呢？ `负载均衡组件使用：Spring Cloud LoadBalance 阅读全文

摘要： # 1、背景 我们知道，在`hdfs`中，我们的数据是以`block`块存储在我们的磁盘上的，那么默认情况下，它是以`密文`存储的，还是以`明文`存储的呢？如果是明文存储的，那么是否就不安全呢？那么在`hdfs`中是如何做才能做到数据的`透明加密`呢？ # 2、常见的加密层级 ![常见的加密层级]( 阅读全文

摘要： # 1、背景 在我们开发的过程中有这么一种场景， `/projectA` 目录是 `hadoopdeploy`用户创建的，他对这个目录有`wrx`权限，同时这个目录属于`supergroup`，在这个组中的用户也具有这个目录的`wrx`权限，对于其他人,不可访问这个目录。现在有这么一个特殊的用户`r 阅读全文

摘要： # 1、背景 我们知道，在`mac`系统上删除文件，一般情况下是可以进入 `废纸篓`里的，如果此时我们误删除了，还可以从 废纸篓中恢复过来。那么在`hdfs`中是否存在类似mac上的`废纸篓`这个功能呢？答案是存在的。 ![废纸篓](https://img-blog.csdnimg.cn/b668c 阅读全文