摘要: 前言 写这篇文章的目的是想用来帮助自己思考和理清头绪,以及如何从一个简单的网站架构演进发展成一个大型网站架构,主要侧重在技术方面 简单的网站 由于我没有做过php,那么就以jsp为例,jsp做网站前端,以电子商务网站为例,描述一个简单的网站架构 前端 jsp+css+js 后端 java ssh W 阅读全文
posted @ 2020-06-16 13:39 年少有为AAA 阅读(165) 评论(0) 推荐(0)
摘要: 前言 最近在学习一些分布式系统中的基础知识,看到了前人总结的非常好的博客。在作者申明可以转载的情况下,将它们转载到自己的专栏。既为了建立一个完整的知识体系,也为了更好的理解原文。接下来的篇幅末尾,会将参考的篇幅列举出来,感兴趣的可以读一下参考的博客。笔者是在前人博客的基础上,加上自己的理解和适当的配 阅读全文
posted @ 2020-06-15 20:27 年少有为AAA 阅读(415) 评论(0) 推荐(0)
摘要: 前两天和百度的一个同学聊MySQL两阶段提交,当时自信满满的说了一堆,后来发现还是有些问题的理解还是比较模糊,可能是因为时间太久了,忘记了吧。这里再补一下:) 5.3.1事务提交流程 MySQL的事务提交逻辑主要在函数ha_commit_trans中完成。事务的提交涉及到binlog及具体的存储的引 阅读全文
posted @ 2020-06-11 20:38 年少有为AAA 阅读(453) 评论(0) 推荐(0)
摘要: 之前看到过一道面试题:Redis的过期策略都有哪些?内存淘汰机制都有哪些?手写一下LRU代码实现?笔者结合在工作上遇到的问题学习分析,希望看完这篇文章能对大家有所帮助。 从一次不可描述的故障说起 问题描述:一个依赖于定时器任务的生成的接口列表数据,时而有,时而没有。 怀疑是Redis过期删除策略 排 阅读全文
posted @ 2020-06-11 18:12 年少有为AAA 阅读(1289) 评论(0) 推荐(0)
摘要: 优点: 1,为了高效的使用CPU,数据不仅仅按列存储,同时还按向量进行处理; 2,数据压缩空间大,减少IO;处理单查询高吞吐量每台服务器每秒最多数十亿行; 3,索引非B树结构,不需要满足最左原则;只要过滤条件在索引列中包含即可;即使在使用的数据不在索引中,由于各种并行处理机制ClickHouse全表 阅读全文
posted @ 2020-06-11 17:18 年少有为AAA 阅读(12528) 评论(0) 推荐(0)
摘要: MySql+Memcached架构的问题 实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题: 1.MySQL需要不断进行拆库拆表,Memcached也 阅读全文
posted @ 2020-06-11 17:17 年少有为AAA 阅读(325) 评论(0) 推荐(0)
摘要: 所谓的分片其实就是大的数据分成几个小的部分,分别放置存储,对于数据而言无外乎就是读写,读写的基础就是数据的定位,redis利用集群的方式+槽位完成,分片的数据的定位和管理维护。 Redis 集群是一个可以在多个 Redis 节点之间进行数据共享的设施(installation)。 Redis 集群使 阅读全文
posted @ 2020-06-11 17:16 年少有为AAA 阅读(1132) 评论(0) 推荐(0)
摘要: 本文是对mapreduce技术的一个初步学习的总结,包括如下章节的内容: 概述 发展史 基本概念 程序编写 运行测试 其它案例 参考资料: 1、本文介绍的内容依赖hadoop环境,关于hadoop运行环境的搭建可参见《Hadoop运行环境搭建》。 2、mapreduce的编程模型设计受到了函数式编程 阅读全文
posted @ 2020-06-11 17:15 年少有为AAA 阅读(452) 评论(0) 推荐(0)
摘要: 一、前言 在我们日常的开发中,无不都是使用数据库来进行数据的存储,由于一般的系统任务中通常不会存在高并发的情况,所以这样看起来并没有什么问题,可是一旦涉及大数据量的需求,比如一些商品抢购的情景,或者是主页访问量瞬间较大的时候,单一使用数据库来保存数据的系统会因为面向磁盘,磁盘读/写速度比较慢的问题而 阅读全文
posted @ 2020-06-11 17:13 年少有为AAA 阅读(218) 评论(0) 推荐(0)
摘要: (1)select==>时间复杂度O(n) 它仅仅知道了,有I/O事件发生了,却并不知道是哪那几个流(可能有一个,多个,甚至全部),我们只能无差别轮询所有流,找出能读出数据,或者写入数据的流,对他们进行操作。所以select具有O(n)的无差别轮询复杂度,同时处理的流越多,无差别轮询时间就越长。 ( 阅读全文
posted @ 2020-06-11 17:05 年少有为AAA 阅读(176) 评论(0) 推荐(0)