高并发系列---【百亿级流水数据的毫秒级查询与存储】

1.问题

系统的并发比较高，时间久了随之而来的海量数据存储的问题就会日益矛盾，所以，这篇文章来聊一聊海量数据存储与查询的问题。

2.设计方案

注意：如果流水数据量过大，建议流水数据的HBase和Es都单独再部署一套。实践中发现，Hbase有写入瓶颈，我们内存块中如果设置了100M刷新一次，持久化到磁盘，每刷新一次就会生成一个小文件，实际上不到100M就刷新了。结果造成小文件太多，合并不过来。

注意：这个分页，受ES分页限制，不能实现跳转至多少页。另外，建议大家在设计的时候，必须再加上时间范围必选的查询条件。