2022年3月11日
Hadoop原生对象存储Ozone
摘要： Hadoop 社区推出了新一代分布式Key-value对象存储系统 Ozone，同时提供对象和文件访问的接口，从构架上解决了长久以来困扰HDFS的小文件问题。本文作为Ozone系列文章的第一篇，抛个砖，介绍Ozone的产生背景，主要架构和功能。 背景 HDFS是业界默认的大数据存储系统，在业界的大数 阅读全文
posted @ 2022-03-11 15:45 为了生活，加油 阅读(1478) 评论(0) 推荐(0) 编辑
对象存储和新型分布式文件系统，填补了Hadoop存储的空白
摘要： Hadoop分布式文件系统（HDFS）从Hadoop出现到现在已有了10多个年头。HDFS的出现和成熟为企业提供了廉价的海量数据存储方案，大数据存储不再是“王谢堂前燕”，而真正地“飞入”了各个公司。但是10多年的时间，IT软硬件架构、企业部署已经发生了翻天覆地的变化，在这些新的变革下，HDFS露出了 阅读全文
posted @ 2022-03-11 14:22 为了生活，加油 阅读(248) 评论(0) 推荐(0) 编辑
湖仓一体（Data LakeHouse），到底是在聊什么？
摘要： 湖仓一体（Data LakeHouse），到底是在聊什么？ Data Lakehouse（湖仓一体）是新出现的一种数据架构，它同时吸收了数据仓库和数据湖的优势，数据分析师和数据科学家可以在同一个数据存储中对数据进行操作，同时它也能为公司进行数据治理带来更多的便利性。那么何为Data Lakehouse呢，它具备些什么特性呢？ 具备哪些特性？ 一直以来，我们都 阅读全文
posted @ 2022-03-11 14:06 为了生活，加油 阅读(1303) 评论(0) 推荐(0) 编辑
2022年2月21日
Netty源码解析e——线程池模型之线程NioEventLoop
摘要： 上一篇详细分析了NioEventLoopGroup作用和源码，本文来看看NioEventLoop。NioEventLoop源码比NioEventLoopGroup源码复杂得多，每个NioEventLoop对象都与NIO中的多路复用器Selector一样，要管理成千上万条链路，所有链路数据的读/写事件 阅读全文
posted @ 2022-02-21 16:17 为了生活，加油 阅读(163) 评论(0) 推荐(0) 编辑
Netty源码解析一——线程池模型之线程池NioEventLoopGroup
摘要： 本文基础是需要有Netty的使用经验，如果没有编码经验，可以参考官网给的例子：https://netty.io/wiki/user-guide-for-4.x.html。另外本文也是针对的是Netty 4.1.x版本的。 Reactor模式 本文主要介绍Netty线程模型及其实现，介绍Netty线程 阅读全文
posted @ 2022-02-21 15:09 为了生活，加油 阅读(873) 评论(0) 推荐(0) 编辑
2022年2月16日
HDFS源码解析系列一——HDFS通信协议
摘要： 通信架构 首先，看下hdfs的交互图： 可以看到通信方面是有几个角色的：客户端（client)、NameNode、SecondaryNamenode、DataNode;其中SecondaryNamenode只与NameNode交互，其余的三种之间可以相互交互，所以便有了client—>NameNod 阅读全文
posted @ 2022-02-16 17:41 为了生活，加油 阅读(1313) 评论(0) 推荐(0) 编辑
2022年2月15日
Spring5源码解析系列二——Web IoC初体验
摘要： 前面大概分析了下Spring IoC相关的核心问题和核心类图，这一节用大家常用的Web开发的Web IoC作为引子，来窥初步探IoC的内在。 DispatcherServlet为例分析 在进行Spring Web开发，咱们绕不开的就是DispatcherServlet这个类，我们先看下这个类的类图： 阅读全文
posted @ 2022-02-15 17:25 为了生活，加油 阅读(71) 评论(0) 推荐(0) 编辑
Spring5源码解析系列一——IoC容器核心类图
摘要： 基本概念梳理 IoC（Inversion of Control，控制反转）就是把原来代码里需要实现的对象创建、依赖，反转给容器来帮忙实现。我们需要创建一个容器，同时需要一种描述来让容器知道要创建的对象与对象的关系。这个描述最具体的表现就是我们所看到的配置文件。 DI（Dependency Injec 阅读全文
posted @ 2022-02-15 16:40 为了生活，加油 阅读(464) 评论(0) 推荐(0) 编辑
2022年2月11日
SpringBoot源码解读系列三——引导注解
摘要： 我们再来看下SpringBoot应用的启动类： 查看代码 import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; i 阅读全文
posted @ 2022-02-11 16:38 为了生活，加油 阅读(272) 评论(0) 推荐(1) 编辑
SpringBoot源码解读系列二——依赖配置
摘要： 上一篇简单介绍了下SpringBoot的大体轮廓，我们了解到SpringBoot简化了Spring应用的开发，其实Spring自打诞生开始就是一个“胶水”框架，本身不做业务耦合，只是作为各类框架和工具的集成，体现了万能胶水的平台性，而SpringBoot是在其之上做了有些开发的优化，主要思想是“习惯 阅读全文
posted @ 2022-02-11 15:30 为了生活，加油 阅读(124) 评论(0) 推荐(0) 编辑
下一页