代码改变世界

随笔分类 - 分布式与微服务

搞懂分布式技术30:高并发解决方案——提升高并发量服务器性能解决思路

2019-03-07 21:12 by xiaok1024, 1851 阅读, 收藏, 编辑
摘要: 高并发解决方案——提升高并发量服务器性能解决思路 一个小型的网站,可以使用最简单的html静态页面就实现了,配合一些图片达到美化效果,所有的页面均存放在一个目录下,这样的网站对系统架构、性能的要求都很简单。随着互联网业务的不断丰富,网站相关的技术经过这些年的发展,已经细分到很细的方方面面,尤其对于大 阅读全文

海量数据处理 - 10亿个数中找出最大的10000个数(top K问题)

2019-02-15 20:10 by xiaok1024, 10862 阅读, 收藏, 编辑
摘要: 前两天面试3面学长问我的这个问题(想说TEG的3个面试学长都是好和蔼,希望能完成最后一面,各方面原因造成我无比想去鹅场的心已经按捺不住了),这个问题还是建立最小堆比较好一些。 top K问题 在大规模数据处理中,经常会遇到的一类问题:在海量数据中找出出现频率最好的前k个数,或者从海量数据中找出最大的 阅读全文

dubbo总结

2019-02-08 20:07 by xiaok1024, 464 阅读, 收藏, 编辑
摘要: dubbo 一、基础知识 1、分布式基础理论 1.1)、什么是分布式系统? 《分布式系统原理与范型》定义: “分布式系统是若干独立计算机的集合,这些计算机对于用户来说就像单个相关系统” 分布式系统(distributed system)是建立在网络之上的软件系统。 随着互联网的发展,网站应用的规模不 阅读全文

搞懂分布式技术21:浅谈分布式消息技术 Kafka

2019-02-08 20:05 by xiaok1024, 290 阅读, 收藏, 编辑
摘要: 搞懂分布式技术21:浅谈分布式消息技术 Kafka 浅谈分布式消息技术 Kafka 本文主要介绍了这几部分内容: 1基本介绍和架构概览 2kafka事务传输的特点 3kafka的消息存储格式:topic和parition 4副本(replication)策略:主从broker部署和partition 阅读全文

搞懂分布式技术28:微服务(Microservice)那点事

2019-02-08 20:05 by xiaok1024, 556 阅读, 收藏, 编辑
摘要: 搞懂分布式技术28:微服务(Microservice)那点事 微服务(Microservice)那点事 肥侠 2016-01-13 09:46:53 浏览58371 评论15 分布式系统与计算 微服务 分布式系统与计算 微服务 摘要: 微服务架构被提出很短的时间内,就被越来越多的开发人员推崇,简单来 阅读全文

搞懂分布式技术20:消息队列因何而生

2019-02-08 20:04 by xiaok1024, 374 阅读, 收藏, 编辑
摘要: 搞懂分布式技术20:消息队列因何而生 消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步RPC的主要手段之一。 当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ,炙手可热的Kafka,阿里巴巴自主开 阅读全文

搞懂分布式技术19:使用RocketMQ事务消息解决分布式事务

2019-02-08 20:04 by xiaok1024, 642 阅读, 收藏, 编辑
摘要: 搞懂分布式技术19:使用RocketMQ事务消息解决分布式事务 初步认识RocketMQ的核心模块 rocketmq模块 rocketmq-broker:接受生产者发来的消息并存储(通过调用rocketmq-store),消费者从这里取得消息。 rocketmq-client:提供发送、接受消息的客 阅读全文

搞懂分布式技术16:浅谈分布式锁的几种方案

2019-02-08 20:03 by xiaok1024, 624 阅读, 收藏, 编辑
摘要: 搞懂分布式技术16:浅谈分布式锁的几种方案 前言 随着互联网技术的不断发展,数据量的不断增加,业务逻辑日趋复杂,在这种背景下,传统的集中式系统已经无法满足我们的业务需求,分布式系统被应用在更多的场景,而在分布式系统中访问共享资源就需要一种互斥机制,来防止彼此之间的互相干扰,以保证一致性,在这种情况下 阅读全文

搞懂分布式技术17,18:分布式事务总结

2019-02-08 20:03 by xiaok1024, 305 阅读, 收藏, 编辑
摘要: 搞懂分布式技术17:浅析分布式事务 众所周知,数据库能实现本地事务,也就是在同一个数据库中,你可以允许一组操作要么全都正确执行,要么全都不执行。这里特别强调了本地事务,也就是目前的数据库只能支持同一个数据库中的事务。但现在的系统往往采用微服务架构,业务系统拥有独立的数据库,因此就出现了跨多个数据库的 阅读全文

搞懂分布式技术13:缓存的那些事

2019-02-08 20:02 by xiaok1024, 480 阅读, 收藏, 编辑
摘要: 搞懂分布式技术13:缓存的那些事 缓存和它的那些淘汰算法们 为什么我们需要缓存? 很久很久以前,在还没有缓存的时候……用户经常是去请求一个对象,而这个对象是从数据库去取,然后,这个对象变得越来越大,这个用户每次的请求时间也越来越长了,这也把数据库弄得很痛苦,他无时不刻不在工作。所以,这个事情就把用户 阅读全文

搞懂分布式技术15:缓存更新的套路

2019-02-08 20:02 by xiaok1024, 871 阅读, 收藏, 编辑
摘要: 搞懂分布式技术15:缓存更新的套路 缓存更新的套路 看到好些人在写更新缓存数据代码时,先删除缓存,然后再更新数据库,而后续的操作会把数据再装载的缓存中。然而,这个是逻辑是错误的。试想,两个并发操作,一个是更新操作,另一个是查询操作,更新操作删除缓存后,查询操作没有命中缓存,先把老数据读出来后在放到缓 阅读全文

搞懂分布式技术11:分布式session解决方案与一致性hash

2019-02-08 20:01 by xiaok1024, 591 阅读, 收藏, 编辑
摘要: 搞懂分布式技术11:分布式session解决方案与一致性hash session一致性架构设计实践 原创: 58沈剑 架构师之路 2017-05-18 一、缘起 什么是session? 服务器为每个用户创建一个会话,存储用户的相关信息,以便多次请求能够定位到同一个上下文。 Web开发中,web-se 阅读全文

搞懂分布式技术12:分布式ID生成方案

2019-02-08 20:01 by xiaok1024, 241 阅读, 收藏, 编辑
摘要: 搞懂分布式技术12:分布式ID生成方案 ## 转自: 58沈剑 架构师之路 2017-06-25 一、需求缘起 几乎所有的业务系统,都有生成一个唯一记录标识的需求,例如: 消息标识:message-id 订单标识:order-id 帖子标识:tiezi-id 消息标识:message-id 订单标识 阅读全文

搞懂分布式技术10:LVS实现负载均衡的原理与实践

2019-02-08 20:00 by xiaok1024, 371 阅读, 收藏, 编辑
摘要: 搞懂分布式技术10:LVS实现负载均衡的原理与实践 浅析负载均衡及LVS实现 原创: fireflyc 写程序的康德 2017-09-19 负载均衡 负载均衡(Load Balance,缩写LB)是一种网络技术,它在多个备选资源中做资源分配,以达到选择最优。这里有三个关键字: 网络技术,LB要解决的 阅读全文

搞懂分布式技术9:Nginx负载均衡原理与实践

2019-02-08 20:00 by xiaok1024, 606 阅读, 收藏, 编辑
摘要: 搞懂分布式技术9:Nginx负载均衡原理与实践 本篇摘自《亿级流量网站架构核心技术》第二章 Nginx负载均衡与反向代理 部分内容。 当我们的应用单实例不能支撑用户请求时,此时就需要扩容,从一台服务器扩容到两台、几十台、几百台。然而,用户访问时是通过如的方式访问,在请求时,浏览器首先会查询DNS服务 阅读全文

搞懂分布式技术7:负载均衡概念与主流方案

2019-02-08 19:59 by xiaok1024, 535 阅读, 收藏, 编辑
摘要: 搞懂分布式技术7:负载均衡概念与主流方案 负载均衡的原理 原创: 刘欣 码农翻身 4月23日 这是1998年一个普通的上午。 一上班,老板就把张大胖叫进了办公室,一边舒服地喝茶一边发难:“大胖啊,我们公司开发的这个网站,现在怎么越来越慢了? ” 还好张大胖也注意到了这个问题,他早有准备,一脸无奈地说 阅读全文

搞懂分布式技术8:负载均衡原理剖析

2019-02-08 19:59 by xiaok1024, 277 阅读, 收藏, 编辑
摘要: 搞懂分布式技术8:负载均衡原理剖析 负载均衡的重要性无需多说,今天带来:负载均衡原理的解析。 开头先理解一下所谓的“均衡”。 不能狭义地理解为分配给所有实际服务器一样多的工作量,因为多台服务器的承载能力各不相同,这可能体现在硬件配置、网络带宽的差异,也可能因为某台服务器身兼多职,我们所说的“均衡”, 阅读全文

搞懂分布式技术5:Zookeeper的配置与集群管理实战

2019-02-08 19:58 by xiaok1024, 438 阅读, 收藏, 编辑
摘要: 搞懂分布式技术5:Zookeeper的配置与集群管理实战 4.1 配置文件 ZooKeeper安装好之后,在安装目录的conf文件夹下可以找到一个名为“zoo_sample.cfg”的文件,是ZooKeeper配置文件的模板。 ZooKeeper启动时,会默认加载“conf/zoo.cfg”作为配置 阅读全文

搞懂分布式技术6:Zookeeper典型应用场景及实践

2019-02-08 19:58 by xiaok1024, 672 阅读, 收藏, 编辑
摘要: 搞懂分布式技术6:Zookeeper典型应用场景及实践 一.ZooKeeper典型应用场景实践 ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得ZooKeeper解决很多分布式问题。网上对Z 阅读全文

搞懂分布式技术3:初探分布式协调服务zookeeper

2019-02-08 19:57 by xiaok1024, 317 阅读, 收藏, 编辑
摘要: 搞懂分布式技术3:初探分布式协调服务zookeeper 1.Zookeepr是什么 Zookeeper是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它实现诸如数据发布/订阅,负载均衡,命名服务,分布式协调/通知。集群管理,Master选举,分布式锁和分布式队列等功能。 2.zooke 阅读全文