2019年3月5日

分布式锁与实现(二)——基于ZooKeeper实现

摘要: 引言 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的架构通过冗余服务实现高 阅读全文

posted @ 2019-03-05 23:54 ExplorerMan 阅读(257) 评论(0) 推荐(0)

分布式锁的几种使用方式(redis、zookeeper、数据库)

摘要: Q:一个业务服务器,一个数据库,操作:查询用户当前余额,扣除当前余额的3%作为手续费synchronizedlockdb lockQ:两个业务服务器,一个数据库,操作:查询用户当前余额,扣除当前余额的3%作为手续费分布式锁我们需要怎么样的分布式锁?可以保证在分布式部署的应用集群中,同一个方法在同一时 阅读全文

posted @ 2019-03-05 23:53 ExplorerMan 阅读(143) 评论(0) 推荐(0)

分布式锁与实现(一)——基于Redis实现

摘要: 概述 目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition tolerance),最多只能同时 阅读全文

posted @ 2019-03-05 23:53 ExplorerMan 阅读(163) 评论(0) 推荐(0)

基于redis的分布式锁实现

摘要: 关于分布式锁 很久之前有讲过并发编程中的锁并发编程的锁机制:synchronized和lock。在单进程的系统中,当存在多个线程可以同时改变某个变量时,就需要对变量或代码块做同步,使其在修改这种变量时能够线性执行消除并发修改变量。而同步的本质是通过锁来实现的。为了实现多个线程在一个时刻同一个代码块只 阅读全文

posted @ 2019-03-05 23:52 ExplorerMan 阅读(339) 评论(0) 推荐(0)

mysql ON DUPLICATE KEY UPDATE重复插入时更新

摘要: mysql当插入重复时更新的方法: 第一种方法: 示例一:插入多条记录 假设有一个主键为 client_id 的 clients 表,可以使用下面的语句: 示例一:插入单条记录 使用 dual 做表名可以让你在 select 语句后面直接跟上要插入字段的值,即使这些值还不存在当前表中。 第二种方法: 阅读全文

posted @ 2019-03-05 23:33 ExplorerMan 阅读(814) 评论(0) 推荐(0)

INSERT 中ON DUPLICATE KEY UPDATE的使用

摘要: 使用场景,在做全国各省ip访问统计时要将sparkStreaming的数据存在mysql中,按照一般设计,id,province,counts,time,这样就需要每次清空表,但是如果多分区的话就存在删除表的时候回出现后一个分区可能把前一个分区的数据删除掉,当然最好的办法是每次都只更新而不删除,但是 阅读全文

posted @ 2019-03-05 23:31 ExplorerMan 阅读(230) 评论(0) 推荐(0)

海量存储第一弹 - 自动化运维

摘要: 作者简介:裴泽良,2010年加入架构平台部,一直从事运营系统相关的建设工作,历经了腾讯海量存储及CDN服务的运营体系从入门到初级再到较为完善的各个阶段,目前专注于提升腾讯云上业务的运营质量,以及建设新一代高效与安全的自动化运维体系。 运营体系 在介绍我们的运营体系前,有必要先简单介绍下我们的业务及其 阅读全文

posted @ 2019-03-05 22:28 ExplorerMan 阅读(461) 评论(0) 推荐(0)

负载均衡再学习

摘要: 下文,以软负载均衡(反向代理)方案为背景,讨论负载均衡。 负载均衡特点: 负载均衡:暴露给用户的IP只有一个,如果后端机器故障,进行下线修复后再上线这一过程,前端用户感觉不到,并且可以根据后端机器的性能差异,调整流量分配权重,科学的分配访问量。 负载均衡的以上特点,大大提高了应用程序容错能力。 开源 阅读全文

posted @ 2019-03-05 22:19 ExplorerMan 阅读(469) 评论(0) 推荐(0)

L5负载均衡

摘要: L5负载均衡组件的功能职责 L5的功能特征如下: 名字服务:以SID(由模块ID和命令字ID组成)为关键字,通过SID取得真正的IP和端口地址,使得IP和端口配置对调用者透明,运维变更配置更方便; 负载均衡:以请求成功率和请求延时这两个关键指标进行动态权重计算,动态均衡各个被调服务器的负载,达到较好 阅读全文

posted @ 2019-03-05 22:15 ExplorerMan 阅读(1466) 评论(0) 推荐(0)

几种负载均衡技术的实现

摘要: 【前言】 负载均衡技术对于中大型网站的性能提高有着很大的优势,最近在学习《大型网站技术的架构》,其中对于负载均衡技术有一些介绍,将学习的经验总结一下,分享下。多交流。 【协议层】http重定向协议实现负载均衡 原理:根据用户的http请求计算出一个真实的web服务器地址,并将该web服务器地址写入h 阅读全文

posted @ 2019-03-05 22:14 ExplorerMan 阅读(203) 评论(0) 推荐(0)

gevent和tornado异步

摘要: 阅读目录 从 Tornado 说起 再来看下 Gevent 总要总结一下 阅读目录 从 Tornado 说起 再来看下 Gevent 总要总结一下 原文:http://www.pywave.com/2012/08/17/about-gevent-and-tornado/ 还是前几月的时候,几乎在同一 阅读全文

posted @ 2019-03-05 20:52 ExplorerMan 阅读(472) 评论(0) 推荐(0)

Flask, Tornado, GEvent组合运行与性能比较

摘要: 我在选一个python的互联网框架, 本来已经定下来用Tornado了. 但我还听到很多人推荐Flask的简单性和灵活性, 还有gevent的高性能, 所以决定也试试它们以及它们和Tornado的结合. 我的示例就比”Hello World”应用稍微复杂一点儿, 它用到了模板. 下面是代码: 1, 阅读全文

posted @ 2019-03-05 20:50 ExplorerMan 阅读(907) 评论(0) 推荐(0)

ElasticSearch原理

摘要: Elasticsearch-基础介绍及索引原理分析 最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作,花了些时间学习Elasticsearch的基础理论知识,整理了一下,希望能对Elasticsearch感兴趣/想了解的同学有所帮助。 同时 阅读全文

posted @ 2019-03-05 17:58 ExplorerMan 阅读(219) 评论(0) 推荐(0)

导航