03 2016 档案

netty常用代码
摘要：一. Server 二. Client java public class TimeClient_argu { private static Logger logger = LoggerFactory.getLogger("timeclient argu"); public static void 阅读全文
posted @ 2016-03-27 15:41 lj72808up 阅读(332) 评论(0) 推荐(0)
hbase读写流程
摘要：一. Hbase读流程 1. META表记录着表的原信息，根据rowkey查询META表，获取所在region信息 2. 客户端去相应的regionServer查询数据，先查询memStore（memstore是一个按key排序的树形结构缓冲区），有就返回，没有继续查找 3. 查询regionSer 阅读全文
posted @ 2016-03-27 15:34 lj72808up 阅读(413) 评论(0) 推荐(0)
zookeeper进行leader选举
摘要：一.如何进行leader选举 1. 创建 /lj/producer和/lj/master/producer外层节点 2. 创建临时顺序节点 3. 判断自己是否是master节点（判断流程：遍历/lj/producer节点下的所有节点名称，选择尾数最小的作为master）,如果是master节点，则在 阅读全文
posted @ 2016-03-27 14:15 lj72808up 阅读(205) 评论(0) 推荐(0)
hbase
摘要：一. Hbase的逻辑模型与物理模型 1. 逻辑结构 （1）行健 : 用于唯一标识一行记录 , 数据的内容只能通过行健获得 (行健本身也是字段,相当于PK主键) （2）列族 : 一系列列的集合 , 每个列族以单独的文件形式存在 . 不同的列分到不同的列族, 使得不同的列写往不同的文件。 可以提高并发 阅读全文
posted @ 2016-03-26 15:07 lj72808up 阅读(352) 评论(0) 推荐(0)
mapreduce计算框架
摘要：一. MapReduce执行过程 1. 分片： （1）对输入文件进行逻辑分片，划分split（split大小等于hdfs的block大小） （2）每个split分片文件会发往不同的Mapper节点进行分散处理 2. mapper任务 （3）每个Mapper节点拿到split分片后，创建RecordR 阅读全文
posted @ 2016-03-26 12:21 lj72808up 阅读(206) 评论(0) 推荐(0)
TCP非阻塞通信
摘要：一.SelectableChannel 1. SelectableChannel支持阻塞和非阻塞模式的channel 非阻塞模式下的SelectableChannel,读写不会阻塞 2. SelectableChannel可以向Selector注册监听就绪读和就绪写时间,当Selector发现这些时 阅读全文
posted @ 2016-03-21 17:05 lj72808up 阅读(1034) 评论(0) 推荐(0)
2. hdfs
摘要：一.Hdfs的shell 1. 所有hadoop的fs的shell均用uri路径作为参数 uri格式:schema://authority/path.hdfs的schema是hdfs.其中,schema和authority是可选的,若未指定,hdfs命令使用配置文件中的authority(namen 阅读全文
posted @ 2016-03-20 11:51 lj72808up 阅读(255) 评论(0) 推荐(0)
三. ServerSocket用法
摘要：一.构造ServerSocket 1. 构造方法 （1）new ServerSocket( ) （2）new ServerSocket(int port,int backlog) （3）new ServerSocket(int port,int backlog,InetAddress bindAdd 阅读全文
posted @ 2016-03-19 14:40 lj72808up 阅读(525) 评论(0) 推荐(0)
二. Socket用法
摘要：C/S通信架构中,客户端要主动与服务端建立连接,这个链接就是Socket套接字.服务端收到连接请求后,也会开启Socket记录与客户端的链接.C/S两端都要建路Socket才能正常收发数据. 一.构造Socket (1)new Socket ( ) (2)new Socket ( InetAddre 阅读全文
posted @ 2016-03-17 23:53 lj72808up 阅读(260) 评论(0) 推荐(0)
一.OSI与TCP
摘要：一. TCP/IP的由来 1. OSI参考模型由来 计算机网络产生的最初阶段,每个计算机厂商都实现了自己的一套计算机网络体系结构;异构的网络之间无法进行通信.因此,ISO委员会推出了一种用于开放系统互联的网络体系结构(Open Systemm Intercconnection),使得一个网络系统,只 阅读全文
posted @ 2016-03-17 21:59 lj72808up 阅读(191) 评论(0) 推荐(0)
一. Logback与p6spy
摘要：一. LogBack配置 1. 配置pom.xml 2. 加入logback.xml 3. 用slf4j调用日志打印组件 (1) slf4j api这个包调用默认logback的class进行日志打印 (2)slf4j的LoggerFactory.getlogger(),会生成LogBack的Log 阅读全文
posted @ 2016-03-16 11:08 lj72808up 阅读(1706) 评论(0) 推荐(0)
1. Netty解决Tcp粘包拆包
摘要：一. TCP粘包问题 1. 实际发送的消息, 可能会被TCP拆分成很多数据包发送, 也可能把很多消息组合成一个数据包发送 2. 粘包拆包发生的原因 (1) 应用程序一次写的字节大小超过socket发送缓冲区大小 (2) 数据长度超多MSS大小进行分片 MSS : Maximum Segment Si 阅读全文
posted @ 2016-03-09 10:32 lj72808up 阅读(344) 评论(0) 推荐(0)