随笔分类 -  大数据

big data
braft初探
摘要：接上一篇《brpc初探》。 什么是RAFT 看内部一个开源项目的时候，一开始我以为他们自己实现了raft协议。但是看了代码之后，发现用的是braft。因为在我们自己bg里一直在提paxos，bg开源的东西很多也是基于paxos。但是实际上paxos是什么我并不清楚，只知道是个一致性协议。关于paxo 阅读全文
posted @ 2018-12-11 10:36 linyx 阅读(4264) 评论(0) 推荐(1)
架构方面的笔记
摘要：开放封闭原则 (The Open Closed Principle) 软件实体应该对扩展开放，对修改封闭。一般不要直接修改类库源码（即使你有源代码），通过继承等方式扩展。 依赖倒置原则 (The Dependency Inversion Principle) 高层模块不应该依赖于底层模块，二者都应该 阅读全文
posted @ 2018-10-25 21:31 linyx 阅读(150) 评论(0) 推荐(0)
Elasticsearch match_phrase用法
摘要：目前有用到的用法如下： 通过from+size来实现分页，但是有个限制，from+size不能超过index.max_result_window。 https://www.elastic.co/guide/en/elasticsearch/reference/current/search-reque 阅读全文
posted @ 2018-10-19 11:33 linyx 阅读(971) 评论(0) 推荐(0)
数据库中的压缩
摘要：gzip几乎在在所有平台上都有支持，并且也已经成为一个行业标准，压缩率、压缩速度、解压速度都比较均衡； bzip2是基于BWT变换的一种压缩，本质是上对输入分块，每个块单独压缩，优点是压缩率很高，但压缩和解压速度都比较慢； Snappy是Google出品，优点是压缩和解压都很快，缺点是压缩率比较低， 阅读全文
posted @ 2018-10-10 20:53 linyx 阅读(1000) 评论(0) 推荐(0)
mongo常用操作
摘要：mongo术语： https://docs.mongodb.com/manual/reference/glossary/ 构建mongo集群可参考： https://docs.mongodb.com/manual/tutorial/deploy-shard-cluster/ mongo的shard机 阅读全文
posted @ 2018-10-10 15:41 linyx 阅读(753) 评论(0) 推荐(0)
大数据——基础概念
摘要：OLTP与OLAP 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易 阅读全文
posted @ 2018-10-09 15:35 linyx 阅读(478) 评论(0) 推荐(0)