褚成志 - 博客园

Dubbo SPI机制

摘要： Dubbo SPI 机制阅读全文

posted @ 2025-10-13 17:43 褚成志阅读(17) 评论(0) 推荐(0)

主流中间件选型-RPC

摘要：发生服务循环消费时候关闭服务启动检查默认情况下，若服务消费者先于服务提供者启动，则消费者端会报错。因为默认情况下消费者会在启动时查检其要消费的服务的提供者是否已经注册，若未注册则抛出异常。在消费者端的 spring 配置文件中添加 **check="false"**属性，则可关闭服务检查功能。在阅读全文

posted @ 2025-10-13 17:43 褚成志阅读(33) 评论(0) 推荐(0)

NIO零拷贝

摘要： java的 transformTo transformFrom java是平台无关的，但是JVM是平台相关的。磁盘上文件拿出来发给用户最原始的实现（c实现）内核空间系统调用--上下文切换--直接内存访问DMA 数据拷贝到内核空间缓冲区（页缓存）--上下文切换--又拷贝到了用户空间的缓冲区内核阅读全文

posted @ 2025-10-13 17:42 褚成志阅读(31) 评论(0) 推荐(0)

netty高性能网络框架原理

摘要： https://www.processon.com/view/608e06281e085376286d72ef?fromnew=1 阅读全文

posted @ 2025-10-13 17:42 褚成志阅读(21) 评论(0) 推荐(0)

本地新建分支推送后再次拉取的错误

摘要：本地新建分支推送后再次拉取的错误本地新建一个分支后，必须要做远程分支关联。如果没有关联，git会在下面的操作中提示你显式的添加关联。关联目的是如果在本地分支下操作： git pull, git push ，不需要指定在命令行指定远程的分支． git在本地新建分支， push到remote服务器上之阅读全文

posted @ 2025-10-13 17:41 褚成志阅读(22) 评论(0) 推荐(0)

Hadoop-yarn

摘要： Yarn资源调度器 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 Y****arn基本架构 YARN主要由ResourceManager、NodeManager、Applicatio 阅读全文

posted @ 2025-10-13 01:12 褚成志阅读(55) 评论(0) 推荐(0)

Hadoop-MapReduce

摘要： dr.who是通过http连接的默认用户，可以直接在配置文件里面修改为当前用户，重启之后就可以使用当前用户在页面里面对文件进行相关操作。 MapReduce概述分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和阅读全文

posted @ 2025-10-13 01:12 褚成志阅读(27) 评论(0) 推荐(0)

Presto

摘要： Presto是一种工具，旨在使用分布式查询来有效查询大量数据。如果您使用TB或PB的数据，则可能会使用与Hadoop和HDFS交互的工具。 Presto旨在替代使用MapReduce作业的管道（例如Hive或Pig）查询HDFS的工具的替代方案，但Presto不仅限于访问HDFS。 Presto可阅读全文

posted @ 2025-10-13 01:11 褚成志阅读(59) 评论(0) 推荐(0)

Hadoop概念以及安装

摘要： Hadoop概论 Hadoop是一个由 Apache基金会所开发的分布式系统基础架构。主要解决,海量数据的存储和海量数据的分析计算问题。广义上来说, Hadoop通常是指一个更广泛的概念 Hadoop生态圈。 Hadoop三大发行版本：Apache、Cloudera、Hortonworks。 A 阅读全文

posted @ 2025-10-13 01:11 褚成志阅读(144) 评论(0) 推荐(0)

presto配置

摘要： presto启动时默认配置文件目录在安装目录下的etc下每个节点的配置在etc下创建node.properties文件，配置如下： node.environment=production node.id=ffffffff-ffff-ffff-ffff-ffffffffffff node.data 阅读全文

posted @ 2025-10-13 01:10 褚成志阅读(48) 评论(0) 推荐(0)

分布式共识问题、理论、协议和算法

摘要：兰伯特有很多关于分布式的理论，这些理论都很经典（比如拜占庭将军问题、Paxos），但也因为太早了，与实际场景结合的不多，所以后续的众多算法是在这个基础之上做了大量的改进（比如Raft 等）两种分布式共识问题是否存在伪造或者篡改的恶意行为。忠诚的将军，正常运行的计算机节点；叛变的将军，出现阅读全文

posted @ 2025-10-13 01:10 褚成志阅读(104) 评论(0) 推荐(0)

主流中间件选型手册(1)--注册中心

摘要：为什么理解注册中心的必要性，就需要了解软件架构的发展历程。系统架构的发展历程为什么需要注册中心上面的微服务架构采用直连的方式，每一个机器都需要维护更新自己需要连接的机器的IP，将来地址出现变更，还需要及时更新。在集群内部的节点越来越多的时候，开发者管理起来将会非常混乱。此时加入注册中心，就无阅读全文

posted @ 2025-10-13 01:10 褚成志阅读(45) 评论(0) 推荐(0)

Nacos和ribbon实现平滑上下线

摘要：首选 https://blog.csdn.net/qq_37362891/article/details/119993038 参考 https://blog.csdn.net/weixin_39827884/article/details/124456326 https://github.com/a 阅读全文

posted @ 2025-10-13 01:09 褚成志阅读(18) 评论(0) 推荐(0)

RocketMQ源码

摘要： RocketMQ源码 4.7.1版本将源码导入IDEA后，需要先对源码进行编译。编译指令 clean install -Dmaven.test.skip=true broker：这个里面存放的就是RocketMQ的Broker相关的代码，这里的代码可以用来启动Broker进程 client：这个里阅读全文

posted @ 2025-10-13 01:09 褚成志阅读(82) 评论(0) 推荐(0)

消息队列重点问题

摘要：参考资料：从 0 开始带你成为消息中间件实战高手中华石杉互联网 Java 工程师面试突击（第一季）重点一定要在自己的核心链路里做文章，有没有可能一个关键的步骤会失败？如果这个关键步骤失败了，这个时候会怎么样？如果某个步骤没有成功，是不是需要启动后台线程定时扫描进行补偿？所谓的核心链路，不是阅读全文

posted @ 2025-10-13 01:09 褚成志阅读(112) 评论(0) 推荐(0)

消息队列

摘要：为什么主要作用：异步：提高系统响应速度以及吞吐量削峰填谷：稳定平滑系统流量解耦：减少服务之间的影响，提高系统整体的稳定性以及扩展性主要缺点 MQ 是基于事件驱动的。消息由生产者发送到MQ进行排队，然后按FIFO的顺序交由消息的消费者进行处理。其主要缺点：系统可用性降低：外部依赖增加，稳定阅读全文

posted @ 2025-10-13 01:09 褚成志阅读(120) 评论(0) 推荐(0)

IO体系

摘要：反射、代理、多线程这些东西，当然，还有 NIO 在 Java 中，很多大家熟悉的框架都在使用 Netty，而且，这些框架遍布 Java 的各个领域，包括但不仅限于大数据、RPC、消息队列、搜索引擎、数据库等。 IO --> 五种IO模型 --> NIO 模型 --> 基于NIO的网络框架（Netty 阅读全文

posted @ 2025-10-13 01:08 褚成志阅读(39) 评论(0) 推荐(0)

netty--源码流程--结合NIO点位

摘要： https://www.processon.com/view/60ddb9aae0b34d238be316ca?fromnew=1 阅读全文

posted @ 2025-10-13 01:08 褚成志阅读(18) 评论(0) 推荐(0)

Netty的整体结构

摘要： Netty 的整体结构 https://netty.io/ Netty是一个NIO客户端服务器框架，可以快速轻松地开发网络应用程序，例如协议服务器和客户端。它极大地简化和简化了诸如TCP和UDP套接字服务器之类的网络编程。 “快速简便”并不意味着最终的应用程序将遭受可维护性或性能问题的困扰。 Ne 阅读全文

posted @ 2025-10-13 01:08 褚成志阅读(39) 评论(0) 推荐(0)

netty高性能网络框架涉及的核心组件

摘要： https://www.processon.com/view/60ddbec51efad40c1bf0210d?fromnew=1 阅读全文

posted @ 2025-10-13 01:07 褚成志阅读(22) 评论(0) 推荐(0)

Hadoop--HDFS

摘要：注意机器启动过之后，同步的时候不要同步data文件夹一次写入，多次读出，不支持文件修改。适合数据分析，不适合网盘应用分布式存储，文件系统。优点：高容错性。多复制，丢失自动恢复适合大数据，数据以及文件规模可以在廉价机器上，多副本来实现高可靠缺点：不适合低延时数据访问无法对小文件高效存阅读全文

posted @ 2025-10-13 00:56 褚成志阅读(36) 评论(0) 推荐(0)

Hadoop--HDFS-HA高可用

摘要： high avilability HA****概述 1）所谓HA（High Availablity），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中阅读全文

posted @ 2025-10-13 00:53 褚成志阅读(34) 评论(0) 推荐(0)

大数据概述

摘要：大数据( Big Data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决海量数据的额存储和分析计算特点：大量，高速，多样，低价值密度，应用场景：物流仓储，分析用户零阅读全文

posted @ 2025-10-13 00:51 褚成志阅读(35) 评论(0) 推荐(0)

Redis总结

摘要： processon 阅读全文

posted @ 2025-10-13 00:48 褚成志阅读(15) 评论(0) 推荐(0)

Redis知识点汇总

摘要： Redis快速回忆核心数据结构字符串小于1M，成倍扩容，大于1M，就每次扩容1M，最大512M。哈希购物车列表集合有序集合位图 Bitmap 虽然基于String类型，但是可以直接操作位一个字节8位表示一个用户是数据使用的时候把握住偏移量即可集成springboot 一般都会阅读全文

posted @ 2025-10-13 00:45 褚成志阅读(21) 评论(0) 推荐(0)