第七子007

摘要： 1、互联网服务重要的功能之一就是评论了，从电商到社交，从短视频到长视频，无一例外都有评论功能！如果是一些流量小的站点（average QPS只有几到十几那种），每天有几千条评论已经很多了，一年也就新增million级别的数据，就这点数据量，webserver可以直接从数据库DB读写，也可以在数据库做 阅读全文

摘要： 1、所有的IT系统，到最后都只剩2个功能：read data和write data！一般情况下，read data远比write data频率更高，毕竟write data的最终目的还是为了read data的嘛！为了加快read data的速度，一般可以有这么几个改经： cache：从硬件上将，m 阅读全文

摘要： 1、逆向完别人家的APP后，下一步就要想办法变现了，不然花了这么多时间和精力，岂不是白干了？变现的方式之一就是爬虫了！10多年前，那个时候的APP不多，爬虫主要爬取的还是网页web。随着移动互联网大发展，APP数量越来越多，用户组件从PC的浏览器转移到了cellphone的APP，但是爬虫的核心思路 阅读全文

摘要： 1、印象中从2017年开始抖音火了，直接带动了视频流这种UGC的火爆，江湖传闻抖音的DAU和平均用户时长已经超过了wechat，实现了弯道超车，实在是后生可畏！对于这种视频站点，可能的架构如下（这是上传的流程，从站点下载视频流程类似）： （1）整个流程大致如下： 用户的请求现到web server， 阅读全文

摘要： 1、要想数据查的块，索引是必须来相建！在一堆杂乱无章的数据中查找，那就只能顺序扫描了！为了提升效率，排序和建索引是必须的！以B+树建索引为例，MyISAM树如下： 这里的叶子节点并不是最终的数据，而是地址，需要进一步通过这个地址查到最终的数据；MyISAM不支持transaction，并且拿到叶子节 阅读全文

摘要： 前面介绍的GFS和BigTable本质上都是数据的分布式存储，核心思路并不复杂：一个集群有多个节点，通过特定的算法（比如consistent hash）找一个合适的slave存放就行了！读的时候通过同样的算法找到slave读取就行，整个流程理解起来很容易，没啥特别的！除了分布式存储，还有个很重要的需 阅读全文

摘要： 1、计算机硬件系统存储数据有两个地方：memory和hard disk！ 这两者各有各的优缺点，互为补充，所以能共存至今！理论上讲：memory的读写速度是hard disk的million倍，但memory很贵，普通服务器能有256G已经很不错了，并且memory掉电就丢数据，而hard disk 阅读全文

摘要： 1、（1）逆向APP时，第一个干的事就是抓包了，抓包的结果类似下面： GET https://aweme.snssdk.com/aweme/v1/commit/item/digg/?aweme_id=6956180208793718055&type=1&channel_id=-1&city=5101 阅读全文

摘要： 1、众所周知，数据要想永久保存，肯定是要放磁盘的啦！磁盘和内存不一样，内存最小的存储单位是byte，1 byte = 8bit；但是磁盘不一样了，最小存储单位是 sector， 1 sector = 512byte！而在磁盘上，数据都是以文件file的形式存储的。假如文件大小是1kb，那就需要在磁盘 阅读全文

摘要： 互联网上所有重要数据最终的归宿都是数据库（没有之一），所以数据库就面临两个最重要的问题： 负载均衡load balance：很明显单节点的数据库肯定是无法满足性能需求的，用行话讲就是QPS很大，单节点的数据库无法承载了，必须要数据库集群来分担大量的QPS！那么问题又来了：怎么合理地把这些QPS尽可能 阅读全文