摘要: 一、共识算法 -- 拜占庭问题 两忠一叛问题: 如上图所示,将军A、B、C约定同时进攻或者撤退,假如将军C叛变了,被中间人截取消息并发送进攻给A、撤退给B,当所有将军消息都收到后结果如下:A:2票进攻1票撤退;B:2票撤退1票进攻;导致最终A独自去攻打敌军,B撤退,最终会任务失败。 口信消息型拜占庭 阅读全文
posted @ 2021-02-17 17:18 HarvardFly 阅读(806) 评论(0) 推荐(0) 编辑
摘要: 1. 语言层面的锁 乐观锁: 原子操作中的比较并交换简称CAS(Compare And Swap),在sync/atomic包中,这类原子操作由名称以CompareAndSwap为前缀的若干个函数提供 func CompareAndSwapInt32(addr *int32, old, new in 阅读全文
posted @ 2020-12-14 19:39 HarvardFly 阅读(833) 评论(0) 推荐(1) 编辑
摘要: 一、prometheus基本原理介绍 prometheus是基于metric采样的监控,可以自定义监控指标,如:服务每秒请求数、请求失败数、请求执行时间等,每经过一个时间间隔,数据都会从运行的服务中流出,存储到一个时间序列数据库中,之后可通过PromQL语法查询。 主要特点: 多维数据模型,时间序列 阅读全文
posted @ 2020-11-17 15:01 HarvardFly 阅读(5316) 评论(2) 推荐(0) 编辑
摘要: ETCD整体机制 etcd 是一个分布式的、可靠的 key-value 存储系统,它适用于存储分布式系统中的关键数据。 etcd 集群中多个节点之间通过Raft算法完成分布式一致性协同,算法会选举出一个主节点作为 leader,由 leader 负责数据的同步与分发。当 leader 出现故障后系统 阅读全文
posted @ 2020-11-04 19:13 HarvardFly 阅读(2689) 评论(0) 推荐(0) 编辑
摘要: 一、前言 grpc中没有像go-micro那样集成可插拔式的etcd库使用,如何使得grpc能够使用服务注册发现及命名解析的功能,因此本文基于etcd实现了Name Resolver。 二、所需的grpc版本及高版本grpc、protobuf与etcd兼容问题 grpc相关库: google.gol 阅读全文
posted @ 2020-10-09 14:21 HarvardFly 阅读(2208) 评论(0) 推荐(0) 编辑
摘要: 一、Opentracing opentracing通过提供平台无关、厂商无关的API,使得开发人员可以方便地实现追踪系统。opentracing提供了用于运营支撑系统和针对特定平台的辅助程序库,被跟踪的服务只需要调用这套接口,就可以被任何实现这套接口的跟踪后台(比如Zipkin, Jaeger等等) 阅读全文
posted @ 2020-09-10 15:14 HarvardFly 阅读(803) 评论(0) 推荐(0) 编辑
摘要: golang程序的CPU及内存使用情况性能分析 1.runtime.MemStats查看内存占用情况 //读取当前内存信息的方法 func printMemStats() { //定义一个 runtime.MemStats对象 var ms runtime.MemStats //通过对象的属性 查询 阅读全文
posted @ 2020-06-24 01:02 HarvardFly 阅读(815) 评论(0) 推荐(0) 编辑
摘要: 一. 创建docker-compose.yml并启动docker compose mkdir mysql_server cd mysql_server sudo vim docker-compose.yml docker-compose.yml version: "3" #版本信息 services 阅读全文
posted @ 2020-05-28 19:31 HarvardFly 阅读(499) 评论(0) 推荐(0) 编辑
摘要: golang的GC,1.8通过混合写⼊屏障, 使得STW降到了sub ms。go语言中程序代码执行和垃圾回收是并发执行的。 当前Go GC特征 :三色标记,并发标记和清扫,非分代,非紧缩,混合写屏障。三色标记:1. 将所有对象放在白色集合中2. 从rootset遍历可达对象,将可达对象放在灰色集合中 阅读全文
posted @ 2020-05-28 19:29 HarvardFly 阅读(533) 评论(0) 推荐(0) 编辑
摘要: 对于微服务的实践,一般都是基于Java和Golang的,博主最近研究了下基于Python的微服务实践,现在通过一个简单的服务来分析Python技术栈的微服务实践 技术栈:Python3 + grpc + Zookeeper 服务API:通过学科获取相应的题型 grpc:由Google公司开源的高性能 阅读全文
posted @ 2019-02-25 21:25 HarvardFly 阅读(3046) 评论(0) 推荐(1) 编辑
摘要: 单机服务的可靠性及可扩展性有限,某台服务宕机可能会影响整个系统的正常使用;分布式服务能够有效地解决这一问题,但同时分布式服务也会带来一些新的问题,如:服务发现(新增或者删除了服务如何确保能让客户端知道),容灾(某些服务出现故障如何让客户端只访问正常的服务);ZooKeeper的提出主要是为了解决分布 阅读全文
posted @ 2019-01-30 23:09 HarvardFly 阅读(2161) 评论(0) 推荐(2) 编辑
摘要: RabbitMQ中RPC的实现:客户端发送请求消息,服务端回复响应消息,为了接受响应response,客户端需要发送一个回调队列的地址来接受响应,每条消息在发送的时候会带上一个唯一的correlation_id,相应的服务端处理计算后会将结果返回到对应的correlation_id。 RPC调用流程 阅读全文
posted @ 2019-01-20 16:17 HarvardFly 阅读(1709) 评论(0) 推荐(2) 编辑
摘要: 远程过程调用,简称为RPC,是一个计算机通信协议,它允许运行于一台计算机的程序调用另一台计算机的子程序,而无需额外地为这个交互作用编程。 RPC与传统的HTTP对比 优点: 1. 传输效率高(二进制传输) 2. 发起调用的一方无需知道RPC的具体实现,如同调用本地函数般调用 缺点: 1. 通用性不如 阅读全文
posted @ 2019-01-14 11:01 HarvardFly 阅读(19568) 评论(0) 推荐(0) 编辑
摘要: RabbitMQ是一个消息代理,它接受和转发消息,是一个由 Erlang 语言开发的遵循AMQP协议的开源实现。在RabbitMQ中生产者不会将消息直接发送到队列当中,而是将消息直接发送到交换机(exchange),交换机用来接受生产者发送的消息并将这些消息发送给绑定的队列,即:生产者-->交换机- 阅读全文
posted @ 2018-12-29 18:20 HarvardFly 阅读(2203) 评论(0) 推荐(0) 编辑
摘要: 在Kafka中,当有新消费者加入或者订阅的topic数发生变化时,会触发Rebalance(再均衡:在同一个消费者组当中,分区的所有权从一个消费者转移到另外一个消费者)机制,Rebalance顾名思义就是重新均衡消费者消费。Rebalance的过程如下: 第一步:所有成员都向coordinator发 阅读全文
posted @ 2018-12-16 13:11 HarvardFly 阅读(6473) 评论(0) 推荐(1) 编辑
摘要: 目前国内比较流行的第三方支付主要有支付宝和微信支付,博主最近研究了下如何用Python接入支付宝支付,这里我以Tornado作为web框架,接入支付宝构造支付接口。 使用Tornado异步接入支付宝支付流程: 1. 进入蚂蚁金服开放平台填写开发者信息、应用信息 2. 配置RSA256密钥,生成支付宝 阅读全文
posted @ 2018-12-16 00:00 HarvardFly 阅读(1215) 评论(2) 推荐(1) 编辑
摘要: 在kafka的消费者中,有一个非常关键的机制,那就是offset机制。它使得Kafka在消费的过程中即使挂了或者引发再均衡问题重新分配Partation,当下次重新恢复消费时仍然可以知道从哪里开始消费。它好比看一本书中的书签标记,每次通过书签标记(offset)就能快速找到该从哪里开始看(消费)。 阅读全文
posted @ 2018-12-14 11:51 HarvardFly 阅读(49377) 评论(2) 推荐(3) 编辑
摘要: Kafka是一种分布式的基于发布/订阅的消息系统,它的高吞吐量、灵活的offset是其它消息系统所没有的。 Kafka发送消息主要有三种方式: 1.发送并忘记 2.同步发送 3.异步发送+回调函数 下面以单节点的方式分别用三种方法发送1w条消息测试: 方式一:发送并忘记(不关心消息是否正常到达,对返 阅读全文
posted @ 2018-12-13 16:51 HarvardFly 阅读(20256) 评论(2) 推荐(7) 编辑
摘要: 谈起Redis的用途,小伙伴们都会说使用它作为缓存,目前很多公司都用Redis作为缓存,但是使用Redis仅仅作为缓存未免太大材小用了。深究Redis的原理后你会发现它有很多用途,在很多场景下能够使用它快速地解决问题。常见的用途有:分布式锁控制并发、结合bloom filter用于推荐去重、Hype 阅读全文
posted @ 2018-11-29 18:07 HarvardFly 阅读(4443) 评论(0) 推荐(1) 编辑
摘要: Elasticsearch是一个基于Lucene的搜索服务器,其搜索的核心原理是倒排索引,今天谈下在日常项目中使用它遇到的一些问题及优化解决办法。 一. 搜索的深度分页问题 在日常项目中,经常会有分页搜索并支持跳页的需求,类似百度、Google搜索那样,使用ES进行这类需求的搜索时一般采用from/ 阅读全文
posted @ 2018-11-13 16:45 HarvardFly 阅读(1240) 评论(0) 推荐(2) 编辑
摘要: 一、共识算法 -- 拜占庭问题 两忠一叛问题: 如上图所示,将军A、B、C约定同时进攻或者撤退,假如将军C叛变了,被中间人截取消息并发送进攻给A、撤退给B,当所有将军消息都收到后结果如下:A:2票进攻1票撤退;B:2票撤退1票进攻;导致最终A独自去攻打敌军,B撤退,最终会任务失败。 口信消息型拜占庭 阅读全文
posted @ 2021-02-17 17:18 HarvardFly 阅读(806) 评论(0) 推荐(0) 编辑
摘要: 1. 语言层面的锁 乐观锁: 原子操作中的比较并交换简称CAS(Compare And Swap),在sync/atomic包中,这类原子操作由名称以CompareAndSwap为前缀的若干个函数提供 func CompareAndSwapInt32(addr *int32, old, new in 阅读全文
posted @ 2020-12-14 19:39 HarvardFly 阅读(833) 评论(0) 推荐(1) 编辑
摘要: 一、prometheus基本原理介绍 prometheus是基于metric采样的监控,可以自定义监控指标,如:服务每秒请求数、请求失败数、请求执行时间等,每经过一个时间间隔,数据都会从运行的服务中流出,存储到一个时间序列数据库中,之后可通过PromQL语法查询。 主要特点: 多维数据模型,时间序列 阅读全文
posted @ 2020-11-17 15:01 HarvardFly 阅读(5316) 评论(2) 推荐(0) 编辑
摘要: ETCD整体机制 etcd 是一个分布式的、可靠的 key-value 存储系统,它适用于存储分布式系统中的关键数据。 etcd 集群中多个节点之间通过Raft算法完成分布式一致性协同,算法会选举出一个主节点作为 leader,由 leader 负责数据的同步与分发。当 leader 出现故障后系统 阅读全文
posted @ 2020-11-04 19:13 HarvardFly 阅读(2689) 评论(0) 推荐(0) 编辑
摘要: 一、前言 grpc中没有像go-micro那样集成可插拔式的etcd库使用,如何使得grpc能够使用服务注册发现及命名解析的功能,因此本文基于etcd实现了Name Resolver。 二、所需的grpc版本及高版本grpc、protobuf与etcd兼容问题 grpc相关库: google.gol 阅读全文
posted @ 2020-10-09 14:21 HarvardFly 阅读(2208) 评论(0) 推荐(0) 编辑
摘要: 一、Opentracing opentracing通过提供平台无关、厂商无关的API,使得开发人员可以方便地实现追踪系统。opentracing提供了用于运营支撑系统和针对特定平台的辅助程序库,被跟踪的服务只需要调用这套接口,就可以被任何实现这套接口的跟踪后台(比如Zipkin, Jaeger等等) 阅读全文
posted @ 2020-09-10 15:14 HarvardFly 阅读(803) 评论(0) 推荐(0) 编辑
摘要: golang程序的CPU及内存使用情况性能分析 1.runtime.MemStats查看内存占用情况 //读取当前内存信息的方法 func printMemStats() { //定义一个 runtime.MemStats对象 var ms runtime.MemStats //通过对象的属性 查询 阅读全文
posted @ 2020-06-24 01:02 HarvardFly 阅读(815) 评论(0) 推荐(0) 编辑
摘要: channel架构图 InterFace Server:负责对协议进行解析,将不同的协议分发到不同的Channel Channel Layer:频道层,可以是一个FIFO队列,通常使用Redis Django中配置Channel: CHANNEL_LAYERS的配置: CHANNEL_LAYERS 阅读全文
posted @ 2020-05-28 19:32 HarvardFly 阅读(1884) 评论(0) 推荐(0) 编辑
摘要: 一. 创建docker-compose.yml并启动docker compose mkdir mysql_server cd mysql_server sudo vim docker-compose.yml docker-compose.yml version: "3" #版本信息 services 阅读全文
posted @ 2020-05-28 19:31 HarvardFly 阅读(499) 评论(0) 推荐(0) 编辑
摘要: golang的GC,1.8通过混合写⼊屏障, 使得STW降到了sub ms。go语言中程序代码执行和垃圾回收是并发执行的。 当前Go GC特征 :三色标记,并发标记和清扫,非分代,非紧缩,混合写屏障。三色标记:1. 将所有对象放在白色集合中2. 从rootset遍历可达对象,将可达对象放在灰色集合中 阅读全文
posted @ 2020-05-28 19:29 HarvardFly 阅读(533) 评论(0) 推荐(0) 编辑