摘要: 这个系列文章之前因为私事荒废了很久,继续更新~~之前与老大谈论架构时,老大和我聊了聊分布式数据处理之中的 Lambda结构 ,之前在《Designing Data Intensive Applications》这本书之中,作者 "Martin Kleppmann" 也在文中涉及到了通过重型批处理与灵阅读全文
posted @ 2018-08-08 10:16 HappenLee 阅读(118) 评论(0) 编辑
摘要: C++11的版本在类型系统上下了很大的功夫,添加了诸如 auto,decltype,move 等新的关键词来简化代码的编写与降低阅读代码的难度。为了更好的理解这些新的语义,笔者确定通过几篇文章来简单窥探一下C++类型系统的冰山一角,如果加深了对C++类型系统的理解,想必大家也能够更好的应用由C++1阅读全文
posted @ 2018-07-19 19:07 HappenLee 阅读(194) 评论(0) 编辑
摘要: 连续两篇文章都聊了不同的存储格式,这篇我们继续深入来看看在存储格式的演变之上有什么新的 "黑科技" 。华为公司在2016年开源了类parquet的列存格式: CarbonData ,并且贡献给了Apache社区。CarbonData仅仅用了不到一年的时间就成功毕业,成为了Apache社区的顶级项目,阅读全文
posted @ 2018-06-20 09:33 HappenLee 阅读(222) 评论(0) 编辑
摘要: 上一篇文章聊了聊基于PAX的混合存储结构的RCFile,其实这里笔者还了解一些八卦,RCfile的主力团队都是来自中科院的童鞋在Facebook完成的,算是一个由华人主导的编码项目。但是RCfile仍然存在一些缺陷,后续被 HortonWorks 盯上之后上马了 ORCFile 格式,而老对头 Cl阅读全文
posted @ 2018-05-25 10:46 HappenLee 阅读(236) 评论(1) 编辑
摘要: C++11的版本在vector容器添加了 emplace_back方法 ,相对于原先的push_back方法能够在一定程度上提升vector容器的表现性能。所以我们从STL源码角度来切入,看看这两种方法有什么样的区别,新引进的方法又有什么可学习参考之处。 1.emplace_back的用法 empl阅读全文
posted @ 2018-05-21 19:49 HappenLee 阅读(196) 评论(0) 编辑
摘要: 前段时间一直在忙碌写毕设与项目的事情,很久没有写一些学习心得与工作记录了,开了一个新的坑,希望能继续坚持写作与记录分布式存储相关的知识。为什么叫小视角呢?因为属于随想型的内容,可能一个由小的视角来审视海量数据的存储与计算技术,把知识点分为两到三章来梳理。 管中窥豹,可见一斑,希望能利用这个过程提高自阅读全文
posted @ 2018-05-04 19:08 HappenLee 阅读(44) 评论(0) 编辑
摘要: 上一篇C++的博客是Long Long ago了,前文讲到在看 Lambda表达式 的内容。笔者首次接触Lambda表达式应该是学习Python语言的时候,当时也不太明白这种表达方式的精髓,后续接触了Scala与Java8的链式调用与Lambda结合的方式,深陷无法自拔。所以借上一篇闭包的内容。我们阅读全文
posted @ 2018-04-30 16:56 HappenLee 阅读(174) 评论(0) 编辑
摘要: 实验室拟态存储的项目需要通过LVS NAT模式通过LVS服务器来区隔内外网的服务,所以安全防护的重心则落在了LVS服务器之上。笔者最终选择 通过firewalld放行端口 的方式来实现需求,由于firewall与传统Linux使用的iptable工具有不小的区别,接下来通过博客来记录一下firewa阅读全文
posted @ 2018-04-24 12:45 HappenLee 阅读(162) 评论(0) 编辑
摘要: 终于来到这本书最后的一章了 "《Designing Data Intensive Applications》" 大部头,这本书应该是我近两年读过最棒的技术书籍。作者 "Martin Kleppmann" 帮助我们梳理了数据系统的纷繁复杂的技术逻辑,在这本书的最后,他将带领我们瞭望数据系统的未来,虽然阅读全文
posted @ 2018-03-26 15:44 HappenLee 阅读(112) 评论(1) 编辑
摘要: 由于实验室拟态存储的项目需要通过NAT模式来映射NFS服务器已实现负载均衡的目的,通过调研了多种负载均衡机制,笔者最终选择了 LVS的NAT模式 来实现需求,接下来通过博客来记录一下LVS NAT模式的配置流程。 1.LVS服务的简介: LVS 是 Linux Virtual Server 的简写,阅读全文
posted @ 2018-03-14 21:16 HappenLee 阅读(478) 评论(0) 编辑