文章分类 - WEB_SCHEMA
摘要：说负载均衡的时候，提到redis是用一致性hash算法，但是有网友指出redis是用hash slot算法的，学业未精的我，又去学习一番。 redis cluster 有固定的 16384 个 hash slot，对每个 key 计算 CRC16 值，然后对 16384 取模，可以获取 key 对应
阅读全文
摘要：本文作者：Guanzhou Song 推荐阅读： 「分布式系统理论」系列专题，历时9个月完结 大型分布式电商系统架构是如何从 0 开始演进的？ 大型分布式Web系统的架构演进 未来架构丨互联网架构变迁：集中式→分布式→云原生架构 实践丨分布式事务解决方案汇总：2PC、消息中间件、TCC、状态机+重试
阅读全文
摘要：https://www.cnblogs.com/hafiz/p/9236664.html 一、前言 上篇文章，我们聊到了分布式架构的演进过程，那本文我们就来聊一聊目前主流的分布式架构和分布式架构中常见理论以及如何才能设计出高可用的分布式架构好了。分布式架构中，SOA和微服务架构是最常见两种分布式
阅读全文
摘要：https://www.cnblogs.com/hafiz/p/9222973.html 一、前言 随着社会的发展，技术的进步，以前的大型机架构很显然由于高成本、难维护等原因渐渐地变得不再那么主流了，替代它的就是当下最火的分布式架构，从大型机到分布式，经历了好几个阶段，我们弄明白各个阶段的架构，
阅读全文
摘要：分布式之数据库和缓存双写一致性方案解析 引言 为什么写这篇文章？ 首先，缓存由于其高并发和高性能的特性，已经在项目中被广泛使用。在读取缓存方面，大家没啥疑问，都是按照下图的流程来进行业务操作。但是在更新缓存方面，对于更新完数据库，是更新缓存呢，还是删除缓存。又或者是先删除缓存，再更新数据库，其实大家
阅读全文
摘要：by : http://www.cnblogs.com/rjzheng/p/8972725.html 引言 在开发中，往往会遇到一些关于延时任务的需求。例如 生成订单30分钟未支付，则自动取消 生成订单60秒后,给用户发短信 对上述的任务，我们给一个专业的名字来形容，那就是延时任务。那么这里就会产生
阅读全文
摘要：什么是缓存击穿 在谈论缓存击穿之前，我们先来回忆下从缓存中加载数据的逻辑，如下图所示 因此，如果黑客每次故意查询一个在缓存内必然不存在的数据，导致每次请求都要去存储层去查询，这样缓存就失去了意义。如果在大流量下数据库可能挂掉。这就是缓存击穿。场景如下图所示: 我们正常人在登录首页的时候，都是根据us
阅读全文
摘要：场景描述 将实时流采集终端的视频数据实时推送到另外一个（多个）播放终端，完成远距离实时视频播放的功能。典型场景： （1）远程查看监控摄像头。选择指定摄像头，将该摄像头采集到的实时数据推送到指定播放终端，供值班（监控中心）人员查看。包括实时视频上墙，推送到指定大屏幕上； （2）直播系统。用户在PC上安
阅读全文
摘要：背景 最近工作中遇到了一个问题：如何对大规模题库去重？公司经过多年的积累，有着近亿道题目的题库，但是由于题目来源不一导致题库中有很多重复的题目，这些重复的题目在检索时，除了增加搜索引擎的计算量外，并不会提高准确率。此外由于题目过多，搜索引擎往往采取了截断策略，只对一部分题目进行计算，这导致了某些正确
阅读全文
摘要：一，分布式事务简介 在当前互联网，大数据和人工智能的热潮中，传统企业也受到这一潮流的冲击，纷纷响应国家“互联网+”的战略号召，企业开始将越来越多的应用从公司内网迁移到云端和移动端，或者将之前孤立的IT系统联网整合，或者将原来厚重的企业应用拆分重组，独立成一个个轻量级的应用对外提供服务，这对传统的业务
阅读全文
摘要：最近项目正在做重构，而这次重构实质上比原来更接近于SOA化和微服务的思想。对于我们金融交易来说，数据结果的准确性是重中之重。所以今天总结一下分布式事务的实现方法，下次组内周会给大家统一一下概念。 https://www.cnblogs.com/xiexj/p/8419430.html 刚性事务和柔性
阅读全文
摘要：这里的高性能指的就是网卡有多快请求发送就能有多快，基本上一般的服务器在一台客户端的压力下就会出现明显延时。 该篇实际是介绍pipe管线的原理，下面主要通过其高性能的测试实践，解析背后数据流量及原理。最后附带一个简单的实现 实践 先直接看对比测试方法 测试内容单一客户的使用尽可能快的方式向服务器发送一
阅读全文
摘要：今天小蕉跟大伙一起聊聊分布式系统的架构的套路。在开始说套路之前，大家先思考一个问题，为什么要进行分布式架构？ 大多数的开发者大多数的系统可能从来没接触过分布式系统，也根本没必要进行分布式系统架构，为什么？因为在访问量或者QPS没有达到单台机器的性能瓶颈的时候，根本没必要进行分布式架构。那如果业务量上
阅读全文
摘要：“You can't fully understand databases, NoSQL stores, key value stores, replication, paxos, hadoop, version control, or almost any software system with
阅读全文
摘要：作者简介：xianmau，2015 年加入腾讯 TEG 架构平台部，一直负责 QQ 相册平台的维护和建设，主导相册上传架构重构和容灾优化等工作。主要研究方向为口语对话系统、分布式系统架构设计和优化，发表对话系统相关学术论文 3 篇，系统架构相关专利 2 篇。 写在前面 QQ 相册作为重量级资深业务，
阅读全文
摘要：欢迎大家前往腾讯云社区，获取更多腾讯海量技术实践干货哦~ 作者：腾讯技术工程官方号 微信朋友圈包括图片和视频两套业务架构组成，朋友圈图片的特点是请求量大、消耗计算资源较多，视频则主要消耗带宽。朋友圈的数据是永远存储的，而且随着业务的快速发展，存储容量、带宽和设备的消耗大量增加，而重大节日带来的使用量
阅读全文
摘要：需求背景 近年来，微服务概念持续火热，网络上针对微服务和单体架构的讨论也是越来越多，面对日益增长的业务需求是，很多公司做技术架构升级时优先选用微服务方式。我所在公司也是选的这个方向来升级技术架构，以支撑更大访问量和更方便的业务扩展。 发现问题 微服务拆分主要分两种方式：拆分业务系统不拆分数据库，拆分
阅读全文
摘要：本文的架子参考张开套的《亿级流量网站架构核心技术》这本书分为四个部分：指导原则，高可用，高并发，实践案例。这篇文章说一说前三个部分，大部分内容都是我自己的思考，书只作为参考。 指导原则 高可用 事前 副本技术 隔离技术 配额技术 探知技术 预案 事发 监控和报警 事中 降级 回滚 failXXX系
阅读全文
摘要：京东到家库存系统架构设计 目前，京东到家库存系统经历两年多的线上考验与技术迭代，现服务着万级商家十万级店铺的规模，需求的变更与技术演进，我们是如何做到系统的稳定性与高可用呢，下图会给你揭晓答案（通过强大的基础服务平台让应用、JVM、Docker、物理机所有健康指标一目了然，7*24小时智能监控告警让
阅读全文
摘要：一，需求缘起 互联网公司，这样的场景是否似曾相识： 场景一：pm要做一个很大的运营活动，技术老大杀过来，问了两个问题： （1）机器能抗住么？ （2）如果扛不住，需要加多少台机器？ 场景二：系统设计阶段，技术老大杀过来，又问了两个问题： （1）数据库需要分库么？ （2）如果需要分库，需要分几个库？ 技
阅读全文