2020 年 4月随笔档案 - 清浊

Scala语法基础

摘要：1、scala下载下载安装包直接安装 2、配置环境变量 path里面添加$SCALA_HOME/bin 3、idea环境配置直接安装scala插件 4、变量声明 val表示常量,大型系统设计开发时，通常将传递给其他模块的对象设计为不可变。var表示变量 val result = 1+1 存放计算阅读全文

posted @ 2020-04-25 22:02 清浊阅读(260) 评论(0) 推荐(0)

大数据介绍-spark

摘要：1、Hadoop MapReduce，大数据计算框架,map将数据写入磁盘，然后分发到reduce。只适合处理对处理速度不敏感的大数据计算任务。基于磁盘，大量网络传输。处理过程太死板，必须shuffle HDFS，大数据存储系统 Hive，SQL，大数据查询框架/计算框架 HBase，NOSQL，实阅读全文

posted @ 2020-04-24 22:50 清浊阅读(195) 评论(0) 推荐(0)

Netty单机百万连接调优

摘要：1、如何模拟百万连接 sever开启8000-8100端口 client开启1025-65535 统计连接数 package com.xiaofeiyang; import io.netty.channel.ChannelHandlerContext; import io.netty.channel 阅读全文

posted @ 2020-04-24 13:48 清浊阅读(1920) 评论(0) 推荐(0)

设计模式

摘要：装饰者与被装饰者继承同一个接口修改被装饰者行为 package com.xiaofeiyang; /** * @author: yangchun * @description: * @date: Created in 2020-04-23 14:48 */ public class Decorat 阅读全文

posted @ 2020-04-23 16:13 清浊阅读(181) 评论(0) 推荐(0)

Netty源码解析(7):两大性能优化工具类

摘要：1、FastThreadLocal * @author: yangchun * @description: * @date: Created in 2020-04-23 12:53 */ public class FastThreadLocalTest { private static FastTh 阅读全文

posted @ 2020-04-23 14:27 清浊阅读(310) 评论(0) 推荐(0)

Netty源码解析(6)-编码器

摘要：1、通过channel调用writeAndFlush方法 2、在pipeline上从tail节点开始往head节点传播write方法，判断是否能处理这个对象，最后会回调到MessageToByteEncode的encode方法，向out里面写入字节流。匹配对象分配内存编码对象释放对象传播数阅读全文

posted @ 2020-04-22 22:28 清浊阅读(158) 评论(0) 推荐(0)

Netty源码解析(5)-解码器

摘要：1、解码器的抽象 ByteToMessageDecoder 累加字节流调用子类decode方法解析将解析的ByteBuf向下传播 2、netty里面有哪些拆箱即用的解码器 FixedLengthFrameDecoder LineBasedFrameDecoder DelimiterBasedFr 阅读全文

posted @ 2020-04-15 16:21 清浊阅读(130) 评论(0) 推荐(0)

Netty源码解析(4)-内存分配

摘要：ByteBuf直接与底层IO打交道 1、内存类别有哪些 2、如何减少多线程内存分配竞争 3、不同大小内存是如何分配的内存与内存管理器的抽象不同规格大小和不同内存类别的分配策略内存回收 ByteBuf结构 readerIndex，表示要读数据从当前指针开始读，从0到readerIndex这段空间阅读全文

posted @ 2020-04-12 22:03 清浊阅读(356) 评论(0) 推荐(0)

Netty源码解析-pipeline

摘要：1、netty如何判断channelHandler的类型 AbstractChannelHandlerContext构造器需要传入时inbound还是outbound处理器 2、添加channelHandler应该遵循什么规则 3、不同的触发方式有什么区别 pipeline的初始化 pipeline 阅读全文

posted @ 2020-04-11 22:01 清浊阅读(282) 评论(0) 推荐(0)

Netty的channel分类

摘要：Channel网络层读写的抽象 AbstractChannel网络层读写的具体实现 AbstractNioChannel主要采用selector实现io事件监听 AbstractNioByteChannel 客户端channel的抽象，包含NioByteUnsafe，调用构造方法时传入的注册事件不一阅读全文

posted @ 2020-04-09 22:39 清浊阅读(418) 评论(0) 推荐(0)

Nettyyu源码解析(3)-新连接接入

摘要：1、检测新连接 NioEventLoop里面 processSelectedKey(key,channel)入口 NioMessageUnsafe.read() while循环一次批量处理 doReadMessage() 创建客户端连接socketchannel javaChannel().acce 阅读全文

posted @ 2020-04-09 22:25 清浊阅读(143) 评论(0) 推荐(0)

Netty源码解析(3)-NioEventLoop

摘要：1、Netty服务端启动多少线程 2、Netty如何解决JDK空轮询bug 3、Netty如何保证异步串行无锁化 NioEventLoop创建 new NioEventLoopGroup() 线程组，默认2*cpu new ThreadPerTaskExecutor() 线程创建器,构造方法里面传入阅读全文

posted @ 2020-04-07 11:30 清浊阅读(180) 评论(0) 推荐(0)

Netty源码解析(2):服务端启动

摘要：package com.xiaofeiyang; import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.ChannelFuture; import io.netty.channel.ChannelInitializer; 阅读全文

posted @ 2020-04-04 21:59 清浊阅读(152) 评论(0) 推荐(0)

Netty源码解析(1)-netty基本组件介绍

摘要：NioEventLoop对应一个线程。channel对应一个socket，serversocketchannel 对应一个socket。ByteBuf 对应IO Bytes。Pipline对应的server逻辑链。channelhandler 对应的logic处理层。 NioEventLoop处理所阅读全文

posted @ 2020-04-02 12:33 清浊阅读(176) 评论(0) 推荐(0)