随笔分类 -  系统架构

分布式下必备神器之分布式锁
摘要：么是分布式锁 首先我们先来简单了解一下什么是分布式锁(关于什么是锁，可以翻翻之前公号的文章或者到我们的网站 http://www.justdojava.com/ 上看看之前的文章)。 在引入分布式锁之前大家应该都知道经典的 CAP 理论提到任何一个系统都无法同时满足一致性（Consistency）、 阅读全文
posted @ 2019-07-17 10:32 Kero小柯 阅读(370) 评论(0) 推荐(0)
多数据源一致性事务解决方案
摘要：spring 多数据源配置 spring 多数据源配置一般有两种方案： 1、在spring项目启动的时候直接配置两个不同的数据源，不同的sessionFactory。在dao 层根据不同业务自行选择使用哪个数据源的session来操作。 2、配置多个不同的数据源，使用一个sessionFactory 阅读全文
posted @ 2019-07-08 10:57 Kero小柯
Elasticsearch、Logstash、Kibana搭建统一日志分析平台
摘要：ELKstack是Elasticsearch、Logstash、Kibana三个开源软件的组合。目前都在Elastic.co公司名下。ELK是一套常用的开源日志监控和分析系统，包括一个分布式索引与搜索服务Elasticsearch，一个管理日志和事件的工具logstash，和一个数据可视化服务Kib 阅读全文
posted @ 2019-07-05 15:49 Kero小柯
网站文件系统发展&&分布式文件系统fastDFS
摘要：网站文件系统发展 1、单机时代的图片服务器架构 初创时期由于时间紧迫，开发人员水平也很有限等原因。所以通常就直接在website文件所在的目录下，建立1个upload子目录，用于保存用户上传的图片文件。如果按业务再细分，可以在upload目录下再建立不同的子目录来区分。例如：upload\QA,up 阅读全文
posted @ 2019-07-05 15:36 Kero小柯
配置中心选型
摘要：随着线上项目变的日益庞大，每个项目都散落着各种配置文件；因为采用分布式的开发模式，项目之间的相互引用随着服务的不断增多，相互之间的调用复杂度成指数升高，每次投产或者上线新的项目时苦不堪言，因此需要引用配置中心治理。 希望可以满足一下的条件： 1、集中配置，所以的配置文件集中到一个管理平台来治理 2、 阅读全文
posted @ 2019-07-05 14:58 Kero小柯
linux定时备份mysql并同步到其它服务器
摘要：数据在任何一家公司里面都是最核心的资产，定期备份则是为了保证数据库出现问题的时候能够及时回滚到最近的备份点，将损失缩小到最小 这篇文章将会两部分来说明：1、mysql的定期备份；2、同步到其它服务器 mysql 备份 备份还原某个数据库 备份还原 备份到压缩文件从压缩文件导入 crontab定时备份 阅读全文
posted @ 2019-07-05 14:42 Kero小柯
一次生产事故的优化经历
摘要：在一次正常的活动促销之后，客服开始陆续反馈有用户反应在抢标的时候打不开网页或者APP，在打开的时候标的就已经被抢光了，刚开始没有特别的上心，觉得抢标不就是这样吗，抢小米手机的时候也不就这样吗？随着活动继续推进，有更多的用户强烈抗议，用户领了加息卷或者抵现卷之后抢不上标的，认为是平台作假故意不让使用以 阅读全文
posted @ 2019-07-04 17:09 Kero小柯
一次DNS解析引发的惨案
摘要：时间2015年的某个周六凌晨5点，公司官方的QQ群有用户反馈官网打不开了，但有的用户反馈可以打开，客服爬起来自己用电脑试了一下没有问题，就给客户反馈说，可能是自己网络的问题，请过会在试试。早点8点，越来越多的用户反馈官网无法打开，并且有部分用户开发反馈app也打不开了，客服打电话叫起了还在梦乡中的我 阅读全文
posted @ 2019-07-04 10:28 Kero小柯
一个脚本引发的血案
摘要：诡异的脚本 做完上面的优化之后，我们感觉问题应该解决了，但过了一段时间后tomcat又诡异的挂了，继续分析gc情况，分阶段使用jmap -dump:live,format=b,file=dump.hprof xxx命令生成堆转储快照来对比堆内存使用情况，监控线程使用情况，均发现没有问题。这个问题困扰 阅读全文
posted @ 2019-07-03 11:20 Kero小柯 阅读(138) 评论(0) 推荐(0)
百亿互金平台的救火事件
摘要：多年前，又是周六客服打电话过来，平台官网不能访问，app完全无法打开，客户在QQ群和微信群中各种反馈，说平台是不是跑路了？客服的多条400热线完全被打爆，电话已经接不过来... 前言 一直以来总是想以什么方式去记录下自己在互金行业的这段经历，趁着自己还记得清楚，还能找到一些资料原型，一方面可以分享出 阅读全文
posted @ 2019-07-02 17:47 Kero小柯
大数据实践-数据同步篇tungsten-relicator（mysql->mongo）
摘要：[导读] 随着公司业务的快速发展数据量也迅速的增大，基于用户各个维度深度分析，关系型数据压力越来越大；因此急于寻找一些解决方案；调研了很久最后采用了 golang+mongod集群的这个方案，使用mongo做数据分析的存储端，数据同步就成为一个问题，目前网上主流的工具和解决方案都比较少，唯一一个稍微 阅读全文
posted @ 2019-07-02 15:47 Kero小柯
技术栈
摘要：总览 闲来无事就想着还可以总结总结什么，平台架构、事故解决方案等以前都写过了，这次就主要写写我们都用过那些技术吧。我分了五块内容来介绍我们的技术栈：前端、后端、中间件、运维和工具。画了一个思维导图方便大家整体预览。 点击这里看大图 接下来就展开来说 前端 我司的前端比较简单主要分为了三大块：PC前端 阅读全文
posted @ 2019-07-02 15:44 Kero小柯