摘要：
10年前，big data火遍全球，进而带动了数据存储的大发展！互联网大厂动辄数亿的DAU，每天带来了PB级别的新增数据；这么多数据，正确、快速的存储和精准、高效的查询/检索成了当务之急，由此带来了各种数据库的发展：有OLTP事务型的，有OLAP分析型的，也有专门做倒排检索（Elastic sear 阅读全文
摘要：
在线文旦都用过吧? 别人给个链接，用浏览器打开后，只要有相应的权限就能读写文档内容了！核心功能如下： 1、在线文档一般用的都是浏览器打开链接，而不是自己单独出个app，目的就是利用浏览器存量用户多的优势，降低用户触达和使用的门槛。既然是用浏览器，有两个问题需要解决： url该怎么设计了？既要方便传播 阅读全文
摘要：
自从十几年前智能机和MBB开始普及，移动互联网迎来了井喷式的发展，到现在人手一部智能手机。既然是移动互联网，基于LBS的O2O自然是非常重要的业务之一，国内的滴滴、美团、饿了么都用过吧？这些O2O的后台又是怎么设计的了？ 1、（1）先来分析一下业务场景： • 第一阶段： • Driver repor 阅读全文
摘要：
1、说到聊天IM，大家第一个想起的肯定是微信了！这种国民级别的APP，肯定人手一个账号，其界面的功能看着也简单： 登陆微信后首先有个list，列举了用户当前所有的会话；本想用session表示，但这个单词已经在http/https的cookie里面被使用了，为了防止混淆，这里用thread替代单个会 阅读全文
摘要：
1、互联网服务重要的功能之一就是评论了，从电商到社交，从短视频到长视频，无一例外都有评论功能！如果是一些流量小的站点（average QPS只有几到十几那种），每天有几千条评论已经很多了，一年也就新增million级别的数据，就这点数据量，webserver可以直接从数据库DB读写，也可以在数据库做 阅读全文
摘要：
1、所有的IT系统，到最后都只剩2个功能：read data和write data！一般情况下，read data远比write data频率更高，毕竟write data的最终目的还是为了read data的嘛！为了加快read data的速度，一般可以有这么几个改经： cache：从硬件上将，m 阅读全文
摘要：
1、逆向完别人家的APP后，下一步就要想办法变现了，不然花了这么多时间和精力，岂不是白干了？变现的方式之一就是爬虫了！10多年前，那个时候的APP不多，爬虫主要爬取的还是网页web。随着移动互联网大发展，APP数量越来越多，用户组件从PC的浏览器转移到了cellphone的APP，但是爬虫的核心思路 阅读全文
摘要：
1、印象中从2017年开始抖音火了，直接带动了视频流这种UGC的火爆，江湖传闻抖音的DAU和平均用户时长已经超过了wechat，实现了弯道超车，实在是后生可畏！对于这种视频站点，可能的架构如下（这是上传的流程，从站点下载视频流程类似）： （1）整个流程大致如下： 用户的请求现到web server， 阅读全文
摘要：
1、要想数据查的块，索引是必须来相建！在一堆杂乱无章的数据中查找，那就只能顺序扫描了！为了提升效率，排序和建索引是必须的！以B+树建索引为例，MyISAM树如下： 这里的叶子节点并不是最终的数据，而是地址，需要进一步通过这个地址查到最终的数据；MyISAM不支持transaction，并且拿到叶子节 阅读全文
摘要：
前面介绍的GFS和BigTable本质上都是数据的分布式存储，核心思路并不复杂：一个集群有多个节点，通过特定的算法（比如consistent hash）找一个合适的slave存放就行了！读的时候通过同样的算法找到slave读取就行，整个流程理解起来很容易，没啥特别的！除了分布式存储，还有个很重要的需 阅读全文