摘要：
HFile结构 截止hbase 1.0.2版本，hfile已经有3个版本，要深入了解hfile的话，还是要从第一个版本开始看起。 hfile v1 Data Block：保存表中的数据，这部分可以被压缩 Meta Block：（可选）保存用户自定义的kv对，可以被压缩。 File Info ：Hfi 阅读全文
摘要：
基于windows环境 基于nginx1.12.2版本 1. 解压nginx 2. 修改conf配置 # 打开conf/nginx,conf文件，写入以下配置 # upstream backend 里是代理的目标地址，server是nginx的监听地址 # 支持多代理，在stream里配置多组ups 阅读全文
摘要：
log与offset 日志存储路径根据配置log.dirs ，日志文件通过 topic-partitionId分目录，再通过log.roll.hours 和log.segment.bytes来分文件，默认是超过7天，或者是1GB大小就分文件，在kafka的术语中，这被称为段（segment ）。例如 阅读全文
摘要：
重要术语 1. KDC 全称：key distributed center 作用：整个安全认证过程的票据生成管理服务，其中包含两个服务，AS和TGS 2. AS 全称：authentication service 作用：为client生成TGT的服务 3. TGS 全称：ticket grantin 阅读全文
摘要：
前言 列式文件，顾名思义就是按列存储到文件，和行式存储文件对应。保证了一列在一个文件中是连续的。下面从parquet常见术语，核心schema和文件结构来深入理解。最后通过java api完成write和read。 术语 block parquet层面和row group是一个意思 row grou 阅读全文
摘要：
前言 在spark中通过hdfs的java接口并发写文件出现了数据丢失的问题，一顿操作后发现原来是FileSystem的缓存机制。补一课先 FileSystem实例化 捎带一嘴，java提供的ServiceLoader有点像乞丐版spring的依赖反转。 然后通过scheme和已经缓存好的FileS 阅读全文
摘要：
java在语言的动态性方便不是很灵活，如果你想快速增加或改变一些方法，那么只能通过反射机制，并且参数传递的格式很严格。 相比之下，基于groovy可以快速写出一些自定义方法，并能和java很好结合，类似javascript在java中应用。 环境： 导入groovy-all-2.1.6.jar ma 阅读全文
摘要：
http协议 请求报文和响应报文都是由以下4部分组成 1.请求行 2.请求头 3.空行 4.消息主体 下图为http请求的报文结构 下图为http响应报文结构 请求行 格式为： Method Request-URI HTTP-Version 结尾符 结尾符一般用\r\n 请求头 通用报头 既可以出现 阅读全文
摘要：
本文从shell执行的角度分析export变量的生命周期 当运行一个.sh文件或者是shell命令，shell会把当前的环境变量都复制过来，也就是子类和父类的关系。通过以下几个场景解释这个概念。 证明父能影响子 证明子不能影响父 如果想让shell脚本中执行的环境变量影响到父环境，那么可以用sour 阅读全文
摘要：
关于org.apache.maven.plugins 前言 maven提供了很多插件给我们使用，解释3个java环境常用的maven插件, maven-jar-plugin, maven-complier-plugin, maven-assembly-plugin. maven-jar-plugin 阅读全文