如何支持高并发高吞吐量编程
目录
一、底层IO与网络优化（提升数据传输效率）
- IO模型升级
- 网络通信：用NIO（
Selector多路复用）替代BIO，基于Netty框架实现非阻塞IO，减少线程阻塞 - 文件处理：采用零拷贝（
FileChannel.transferTo()），跳过用户态与内核态数据拷贝（如日志写入、大文件传输） - 异步IO（AIO）：适合长耗时IO操作（如分布式存储读写），通过回调机制避免线程等待
- 在业务层， 使用Reactor响应式编程，避免业务线程等待请求返回的时候阻塞等待。（NIO 的局限性：仅解决 “网络传输层” 的非阻塞）
- 网络通信：用NIO（
如SpringCloud Feign使用NIO OkHttp3，订单服务的业务线程仍会阻塞等待商品服务的响应（虽然阻塞的是“等待响应结果”，而非底层IO读写）。当并发请求量极大时，大量业务线程会处于“等待”状态，可能导致线程池耗尽，无法处理新请求。
解决：WebClient（基于 Reactor）替代 Feign实现响应式调用
WebClient 是 Spring Framework 5.0 引入的响应式 HTTP 客户端，作为 spring-webflux 模块的核心组件，用于替代传统的 RestTemplate（同步阻塞式客户端），支持非阻塞、异步的 HTTP 通信，适配 Reactor 响应式编程模型。
2. 网络协议优化
- 短连接改长连接：HTTP通过
Connection: keep-alive复用TCP连接，RPC框架（Dubbo/gRPC）启用连接池 - 协议精简：用二进制协议（如Protobuf）替代文本协议（JSON/XML），减少序列化开销
使用HTTP/2代替HTTP协议。风险 ：虽然大多数现代浏览器支持 HTTP/2，但仍有部分旧版本浏览器或客户端存在兼容性问题。例如，当客户端未启用 TLS加密时，HTTP/2 无法正常工作 - 压缩传输：对大报文启用gzip压缩，降低网络带宽占用
二、JVM与内存优化（减少运行时开销）
- JVM参数调优
- 内存使用优化
- 减少对象创建：用对象池（如commons-pool）复用频繁创建的对象（如数据库连接、线程）
- 避免内存泄漏：及时释放静态集合引用、关闭资源（IO流、Socket），防止OOM
- 主动释放无用资源
- 及时清理缓存：对本地缓存（如
HashMap实现的缓存）设置过期时间，或使用Caffeine等框架的自动淘汰策略（如expireAfterWrite），定期移除不再使用的缓存项。
例：Caffeine.newBuilder().expireAfterWrite(5, TimeUnit.MINUTES).build()（5分钟未访问自动淘汰）。 - 释放资源连接：IO流、数据库连接、网络Socket等资源需在
try-with-resources中自动关闭，避免忘记释放导致资源句柄内存泄漏。
例：try (FileInputStream fis = new FileInputStream("file.txt")) { ... }（自动关闭流）。 - 清空集合引用：不再使用的集合（如
List、Map）调用clear()并置为null，帮助GC识别可回收对象（尤其静态集合，避免长期持有内存）。
4.减少对象创建与内存占用
- 复用对象：对频繁创建的短生命周期对象（如DTO、工具类实例）使用对象池（如
Apache Commons Pool），避免重复初始化。
例：数据库连接池复用连接，而非每次请求新建连接。 - 使用基本类型：优先用
int、long等基本类型，避免Integer、Long的自动装箱（可减少对象头、引用等额外内存开销）。
例：用int sum = 0替代Integer sum = 0（循环累加场景）。 - 避免过度封装：减少不必要的对象嵌套（如POJO中冗余字段），用数组替代集合存储简单数据（如
int[]比List<Integer>更省内存）。
三、并发控制与线程管理（减少线程竞争）
-
锁策略优化
- 锁粒度：拆分大锁为小锁（如
ConcurrentHashMap的Segment锁），用LongAdder（分段计数）替代AtomicLong - 锁类型：读多写少用
ReentrantReadWriteLock，无锁场景用CAS（AtomicInteger），自旋锁（Unsafe）减少上下文切换 - 锁消除：通过
-XX:+EliminateLocks自动移除无竞争锁（如局部变量的同步块）
- 锁粒度：拆分大锁为小锁（如
-
线程池精细化管理
- 按任务类型拆分：IO密集型、CPU密集型（线程数=CPU核心数）
-
异步化与并行处理
- 异步调用：
CompletableFuture实现非阻塞链式调用（如supplyAsync().thenAcceptAsync()） - 并行流：
list.parallelStream()利用Fork/Join框架并行处理数据（注意线程安全） - 事件驱动：基于Guava EventBus或Spring Event实现解耦，减少同步等待
- 异步调用：
四、资源与存储优化（减轻瓶颈压力）
-
缓存多级缓存
- 本地缓存：
Caffeine（高命中率）缓存热点数据（如配置、字典），设置过期时间防止 stale 数据 - 分布式缓存：Redis集群（主从+哨兵）缓存用户会话、商品详情，用Pipeline批量操作减少网络往返
- 缓存策略：Cache-Aside（读走缓存）、Write-Through（写透缓存），避免缓存穿透（布隆过滤器）、击穿（互斥锁）、雪崩（过期时间随机）
- 本地缓存：
-
数据库优化
- 读写分离：主库写入，从库读取（通过ShardingSphere/MyCat路由）
- 分库分表：水平拆分（按用户ID哈希）、垂直拆分（大表拆分为小表，如订单表拆分为订单基本表+订单详情表）
- 连接池：用HikariCP（轻量级高性能）替代C3P0，合理设置最大连接数（
maximumPoolSize）避免连接耗尽 - SQL优化：索引优化（避免全表扫描）、批量操作（
batchInsert）、避免select *
-
外部资源复用
- 连接池复用：数据库连接池、Redis连接池、HTTP客户端连接池（OkHttp）
- 对象池：线程池、线程本地存储（
ThreadLocal，复用线程内对象如SimpleDateFormat）
五、架构与部署优化（分散系统压力）
-
服务水平扩展
- 负载均衡：Nginx/LVS分发请求到多实例，Dubbo客户端负载均衡（随机/轮询/一致性哈希）
- 无状态设计：服务实例无本地缓存，依赖分布式缓存/数据库，支持动态扩缩容
-
流量控制与容错
- 限流：网关层（Spring Cloud Gateway）基于令牌桶限流，接口层用Sentinel/Resilience4j限制QPS
- 熔断降级：依赖服务故障时，熔断器快速失败（Hystrix/Sentinel），返回降级结果（如默认值）
- 隔离：线程池隔离（不同服务用独立线程池）、信号量隔离（限制并发数）
-
分布式协作
- 分布式锁：Redis（
setnx）或ZooKeeper实现跨服务互斥（如秒杀库存扣减） - 分布式事务：Seata（AT模式）、TCC框架保障跨服务数据一致性（如订单-库存-支付）
- 异步通信：消息队列（Kafka/RabbitMQ）解耦服务，削峰填谷（如订单创建后异步通知物流）
- 分布式锁：Redis（
六、编码与算法优化（减少执行耗时）
-
代码执行效率
- 避免重复计算：缓存中间结果（如循环内的表达式提取到外部）
- 减少IO操作：批量读写（如NIO的
ByteBuffer批量处理），避免循环内频繁IO - 字符串优化：用
StringBuilder替代String拼接，String.intern()复用常量池字符串
-
算法与数据结构优化
- 时间复杂度：用O(1)哈希表替代O(n)线性查找，排序用
Arrays.sort()（双轴快排） - 空间换时间：预计算结果（如缓存热点数据）、用布隆过滤器快速判断存在性
- 并行算法：Fork/Join框架拆分大任务为小任务并行计算（如大数据量统计）
- 时间复杂度：用O(1)哈希表替代O(n)线性查找，排序用
-
数据结构选型
- 并发容器：
ConcurrentHashMap（分段锁）、LinkedBlockingQueue（生产者消费者模型） - 高效集合：
ArrayList（随机访问）替代LinkedList，EnumMap（枚举键）替代HashMap - 基本类型优化：用
long替代Long（避免自动装箱），TLongArrayList（原始类型集合）减少内存占用
- 并发容器：
总结
高并发优化的核心是“减少阻塞、复用资源、分散压力、提升效率”，各维度相互配合：底层通过NIO/零拷贝加速数据传输，JVM优化减少运行时开销，并发控制避免线程竞争，资源层通过缓存/数据库拆分减轻瓶颈，架构层通过扩展/限流分散压力，编码层通过算法优化减少执行耗时。按维度梳理，可系统定位性能瓶颈并匹配技术方案。
浙公网安备 33010602011771号