数据库快速迁移10亿级数据
摘要:数据库快速迁移10亿级数据 菜菜呀,咱们业务BJKJ有个表数据需要做迁移 程序员主力 Y总 现在有多少数据? 菜菜 大约21亿吧,2017年以前的数据没有业务意义了,给你半天时间把这个事搞定,绩效给你A 程序员主力 Y总 有绩效奖金吗? 菜菜 钱的事你去问X总,我当家不管钱 程序员主力 Y总 ...
阅读全文
可靠的连接池
摘要:可靠的连接池 在应用中连接池的使用非常普遍,如访问数据库,Redis等等网络产品的Client都集成了连接池机制;由于最近在编写微服务网关因此涉及到连接池的编写,在这里分享一下实现一个可靠连接池的心得。其实编写一个连接池并不因难,基础的Stack结构就能满足需要;但在设计的时候有些情况是需要考虑的,
阅读全文
Redis 当成数据库在使用和可靠的分布式锁,Redlock 真的可行么?
摘要:怎样做可靠的分布式锁,Redlock 真的可行么? https://martin.kleppmann.com/2016/02/08/how-to-do-distributed-locking.html 本文是对 Martin Kleppmann 的文章 How to do distributed l
阅读全文
How to do distributed locking
摘要:How to do distributed locking 怎样做可靠的分布式锁,Redlock 真的可行么? 本文是对 Martin Kleppmann 的文章 How to do distributed locking 部分内容的翻译和总结,上次写 Redlock 的原因就是看到了 Martin
阅读全文
Autofac解耦事件总线
摘要:事件总线之Autofac解耦 事件总线是通过一个中间服务,剥离了常规事件的发布与订阅(消费)强依赖关系的一种技术实现。事件总线的基础知识可参考圣杰的博客【事件总线知多少】 本片博客不再详细概述事件总线基础知识,核心点放置使用Autofac组件实现事件总线与事件事件处理对象的解耦,并在实际业务场景中使
阅读全文
上亿数据如何查
摘要:最近在忙着优化集团公司的一个报表。优化完成后,报表查询速度有从半小时以上(甚至查不出)到秒查的质变。从修改SQL查询语句逻辑到决定创建存储 过程实现,花了我3天多的时间,在此总结一下,希望对朋友们有帮助。 数据背景 首先项目是西门子中国在我司实施部署的MES项目,由于项目是在产线上运作(3 year
阅读全文
API设计风格(RRC、REST、GraphQL、服务端驱动)
摘要:API设计风格(RRC、REST、GraphQL、服务端驱动) Web API设计其实是一个挺重要的设计话题,许多公司都会有公司层面的Web API设计规范,几乎所有的项目在详细设计阶段都会进行API设计,项目开发后都会有一份API文档供测试和联调。本文尝试根据自己的理解总结一下目前常见的四种API
阅读全文
古典、SOA、传统、K8S、ServiceMesh
摘要:古典、SOA、传统、K8S、ServiceMesh 十几年前就有一些公司开始践行服务拆分以及SOA,六年前有了微服务的概念,于是大家开始思考SOA和微服务的关系和区别。最近三年Spring Cloud的大火把微服务的实践推到了高潮,而近两年K8S在容器编排的地位确定之后大家又开始实践起以K8S为核心
阅读全文
突破内存限制的高性能排序
摘要:突破内存限制的高性能排序 菜菜呀,昨天晚上班级空间崩溃了 程序员主力 Y总 what? 菜菜 我看服务器上写了很多个日志文件,我看着太费劲了,能不能按照日期排序整合成一个文件呀? 程序员主力 Y总 Y总要查日志呀? 菜菜 我就是喜欢编程,编程就是我的全部,给你半个小时搞一下 程序员主力 Y总 天天这
阅读全文
Windows7系统中nginx与IIS服务器搭建集群实现负载均衡
摘要:10分钟搭建服务器集群——Windows7系统中nginx与IIS服务器搭建集群实现负载均衡 分布式,集群,云计算机、大数据、负载均衡、高并发······当耳边响起这些词时,做为一个菜鸟程序猿无疑心中会激动一番(或许这是判断是否是一个标准阿猿的标准吧)! 首先自己从宏观把控一下,通过上网科普自己遇到
阅读全文
扣减库存
摘要:扣减库存 https://www.cnblogs.com/jackson0714/p/Architecture1.html 生活中,我们总是用各种电商app抢购商品,但是库存数是很少的,特别是秒杀场景,商品可能就一件,那如何保证不会出现超卖的情况呢? 回到顶部 一、扣减库存的三种方案 (1)下单减库
阅读全文
web性能权威指南(High Performance Browser Networking)
摘要:web性能权威指南(High Performance Browser Networking) https://www.cnblogs.com/qcloud1001/p/9663524.html HTTP协议是前端性能乃至安全中一个非常重要的话题,最近在看《web性能权威指南(High Perform
阅读全文
海量数据查询关系型数据库存储大数据,要点就是:简单存储、分区分表、高效索引、批量写入
摘要:海量数据查询 https://www.cnblogs.com/nnhy/p/DbForBigData.html 相当一部分大数据分析处理的原始数据来自关系型数据库,处理结果也存放在关系型数据库中。原因在于超过99%的软件系统采用传统的关系型数据库,大家对它们很熟悉,用起来得心应手。 在我们正式的大数
阅读全文
服务治理,分布式、通信和存储
摘要:服务设计要解决的问题 前几天和同事聊天,同事说: “业务的服务(相对于我们基础架构这边的底层技术)在技术上就需要解决三个问题:分布式、通信和存储。” 我回忆之前做业务的时光,觉得确实,再加上一个“服务治理”就差不多了。想想“服务设计要解决的问题”这个话题可以把之前静儿写的很多文章做一个归纳概括。今天
阅读全文
前端分析调优思路
摘要:前端分析调优思路 https://www.cnblogs.com/leixiaobai/p/9265557.html 刚刚看到有人支持我写的博客,表示还是比较感动的,发现热心的用户在我的博客留言说“一个系统每天有200万在线用户,问我怎么设计性能场景?”,其实这个问题呢就属于业务没理清,这个问题就像
阅读全文
web服务器、app(应用)服务器、DB后端性能瓶颈和分析
摘要:性能测试day07_性能瓶颈和分析 https://www.cnblogs.com/leixiaobai/p/9463748.html 其实如果之前都做的很到位的话,那么再加上APM工具(dynaTrace等),监控到非常细节,那么我们跑一个业务,我们就能完全清楚的知道每个请求的时间,也能知道请求所
阅读全文
分库、分表
摘要:数据分表小结 https://www.cnblogs.com/wangiqngpei557/p/9347232.html 背景 分库、分表带来的后遗症 分表策略 一些注意事项 背景 最近一段时间内结束了数据库表拆分项目,这里做个简单的小结。 本次拆分主要包括订单和优惠券两大块,这两块都是覆盖全集团所
阅读全文
秒杀场景
摘要:秒杀场景的处理方式 https://www.cnblogs.com/mengxw/p/9288678.html 因为业务的关系,曾经在2年前经历过一些秒杀的场景,现在简单总结一下: 业务背景:工具性产品,因为产品的关系需要搞一些活动,增加用户的粘性以及品牌传播等效果;秒杀就是其中一个需求。 量级:系
阅读全文
全链路实践Spring Cloud 微服务架构
摘要:Spring Cloud 微服务架构全链路实践Spring Cloud 微服务架构全链路实践 阅读目录: 1. 网关请求流程 2. Eureka 服务治理 3. Config 配置中心 4. Hystrix 监控 5. 服务调用链路 6. ELK 日志链路 7. 统一格式返回 Java 微服务框架选
阅读全文
Redis 缓存穿透
摘要:Redis 缓存穿透 https://www.cnblogs.com/jiekzou/p/9212114.html 场景描述:我们在项目中使用缓存通常都是先检查缓存中是否存在,如果存在直接返回缓存内容,如果不存在就直接查询数据库然后再缓存查询结果返回。这个时候如果我们查询的某一个数据在缓存中一直不存
阅读全文