2018年4月1日

并行处理管道
摘要： 当进行大规模的数据计算时 会将计算拆分进行并行计算以提升效率 我们这里以cpp进行一个并行计算的模拟 并且分析讲解流程 让大家对其有个了解认识 任务以排序和统计单词计数为例 数据排序例子 1 假设我们有许多数字需要排序(1T=1000G的数据),如果由一台执行排序处理,速度会非常缓慢.那么我们如何将 阅读全文
posted @ 2018-04-01 19:03 itdef 阅读(379) 评论(0) 推荐(0)
leveldb 学习记录(三) MemTable 与 Immutable Memtable
摘要： 前文: leveldb 学习记录(一) skiplist leveldb 学习记录(二) Slice 存储格式: leveldb数据在内存中以 Memtable存储(核心结构是skiplist 已介绍),当达到一定容量则转换为Immutable Memtable,由后台线程存储进磁盘中.同时另开一个 阅读全文
posted @ 2018-04-01 15:40 itdef 阅读(496) 评论(0) 推荐(0)

导航