随笔分类 -  [53]软件架构

1 2 下一页
【转载】ORM的概念, ORM到底是什么
摘要：一、ORM简介 对象关系映射（Object Relational Mapping，简称ORM）模式是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术。简单的说，ORM是通过使用描述对象和数据库之间映射的元数据，将程序中的对象自动持久化到关系数据库中。那么，到底如何实现持久化呢？一种简单的方案是采用硬编码方式，为每一种可能的数据库访问操作提供单独的方法。 这... 阅读全文
posted @ 2017-12-13 09:26 迷雾千寻 阅读(229) 评论(0) 推荐(0)
【转载】小小的公共库，大大的耦合，你痛过吗？
摘要：什么是耦合？ 耦合，是架构中，本来不相干的代码、模块、服务、系统因为某些原因联系在一起，各自独立性差，影响则相互影响，变动则相互变动的一种架构状态。 感官上，怎么发现系统中的耦合？ 作为技术人，每每在心中骂上下游，骂兄弟部门，“这个东西跟我有什么关系？为什么需要我来配合做这个事情？”。明明不应该联动，却要被动受影响，就可能有潜在的耦合。 因为公共库，导致相互受影响，就是一个耦合的典型案例。 场景还... 阅读全文
posted @ 2017-12-07 12:32 迷雾千寻 阅读(154) 评论(0) 推荐(0)
【转载】细聊冗余表数据一致性（架构师之路）
摘要：本文主要讨论四个问题： （1）为什么会有冗余表的需求 （2）如何实现冗余表 （3）正反冗余表谁先执行 （4）冗余表如何保证数据的一致性 一、需求缘起 互联网很多业务场景的数据量很大，此时数据库架构要进行水平切分，水平切分会有一个patition key，通过patition key的查询能够直接定位到库，但是非patition key上的查询可能就需要扫描多个库了。 例如订单表... 阅读全文
posted @ 2017-11-20 14:56 迷雾千寻 阅读(310) 评论(0) 推荐(0)
【转载】缓存架构设计细节二三事
摘要：本文主要讨论这么几个问题： （1）“缓存与数据库”需求缘起 （2）“淘汰缓存”还是“更新缓存” （3）缓存和数据库的操作时序 （4）缓存和数据库架构简析 一、需求缘起 场景介绍 缓存是一种提高系统读性能的常见技术，对于读多写少的应用场景，我们经常使用缓存来进行优化。 例如对于用户的余额信息表account(uid, money)，业务上的需求是： （1）查询用户的余额，SE... 阅读全文
posted @ 2017-11-19 15:57 迷雾千寻 阅读(184) 评论(0) 推荐(0)
【转载】数据库软件架构设计些什么
摘要：缘起：受@萧田国 萧总邀请，上周五晚上在“高效运维1号群”内分享了《58同城数据库软件架构设计与实践》（这个topic今年在数据库大会上分享过），应组织方要求，发出纪要。 一、基本概念 二、数据库架构设计思路 （1）可用性 （2）读性能 （3）一致性 （4）扩展性 一、基本概念 概念一“单库” 概念二“分片” 分片解决的是“数据量太大”的问题，也就是通常说的“水平切分”。 一旦引入分片，... 阅读全文
posted @ 2017-11-19 12:21 迷雾千寻 阅读(750) 评论(0) 推荐(0)
【转载】100亿数据1万属性数据架构设计
摘要：一分钟系列之《啥，又要为表增加一列属性？》分享了两种数据库属性扩展思路，被喷得厉害。第二天补充了一篇《这才是真正的表扩展方案》，分享了互联网大数据高并发情况下，数据库属性扩容的成熟工具及思路。 对于version + ext方案，还是有很多朋友质疑“线上不可能这么用”。本篇将讲述一下58同城最核心的数据“帖子”的架构实现技术细节，说明不仅不是“不可能这么用”，而是大数据，可变属性，高吞吐场景下的... 阅读全文
posted @ 2017-11-18 14:10 迷雾千寻 阅读(288) 评论(0) 推荐(0)
【转载】这才是真正的表扩展方案
摘要：事情变得有意思了，上一篇花1小时撰写的“一分钟”文章，又引起了广泛的讨论，说明相关的技术大家感兴趣，挺好。第一次一篇技术文章的评论量过100，才知道原来“评论精选”还有100上限，甚为欣慰（虽然是以一种自己不愿看到的方式）。 《啥，又要为表增加一列属性？》的方案颇有争议： （1）版本号version + 扩展字段ext （2）用增加列的key+value方式扩充属性 有些评论，只能说“所谓夏虫，何... 阅读全文
posted @ 2017-11-18 13:05 迷雾千寻 阅读(253) 评论(0) 推荐(0)
【转载】啥，又要为表增加一列属性？
摘要：需求缘起 产品第一版：用户有用户名、密码、昵称等三个属性,对应表设计： user(uid, name, passwd, nick) 第二版，产品经理增加了年龄，性别两个属性,表结构可能要变成： user(uid, name, passwd, nick, age, sex) 假设数据量和并发量比较大，怎么变？ （1）alter table add column？不太可行，锁表时间长 （2）新表+触发... 阅读全文
posted @ 2017-11-18 11:29 迷雾千寻 阅读(159) 评论(0) 推荐(0)
【转载】这才是真正的分布式锁
摘要：昨晚十点下班，回家花了1个小时写了一篇《一分钟实现分布式锁》，引起读者一些反响，有些朋友反馈“setnx算什么方案”，“没有考虑超时”，“为啥不用zookeeper”，有甚者上升到 “质疑58同城的技术水平”，“拉低了架构师的层次”，“适合小学生阅读”。 给58带来负面的影响实在对不起公司，也抱歉耽误部分同学1分钟时间（还好是1分钟系列），不过大部分读者的反馈是正向的，只生气了5分钟。 技术领域，... 阅读全文
posted @ 2017-11-17 15:09 迷雾千寻 阅读(1013) 评论(0) 推荐(0)
【转载】一分钟了解两阶段提交2PC（运营MM也懂了）
摘要：上一期分享了“一分钟了解mongoDB”【回复“mongo”阅读】，本期将分享分布式事务的一种实现方式2PC。 一、概念 二阶段提交2PC（Two phase Commit）是指，在分布式系统里，为了保证所有节点在进行事务提交时保持一致性的一种算法。 二、背景在分布式系统里，每个节点都可以知晓自己操作的成功或者失败，却无法知道其他节点操作的成功或失败。当一个事务跨多个节点时，为了保持事务的原子性与... 阅读全文
posted @ 2017-11-16 10:58 迷雾千寻 阅读(336) 评论(0) 推荐(0)
【转载】一张“神图”看懂单机/集群/热备/磁盘阵列（RAID）
摘要：单机部署（stand-alone）：只有一个饮水机提供服务，服务只部署一份 集群部署（cluster）：有多个饮水机同时提供服务，服务冗余部署，每个冗余的服务都对外提供服务，一个服务挂掉时依然可用 热备部署（hot-swap）：只有一个桶提供服务，另一个桶stand-by，在水用完时自动热替换，服务冗余部署，只有一个主服务对外提供服务，影子服务在主服务挂掉时顶上 磁盘阵列RAID（R... 阅读全文
posted @ 2017-11-16 10:01 迷雾千寻 阅读(429) 评论(0) 推荐(0)
【转载】究竟啥才是互联网架构“高并发”
摘要：一、什么是高并发 高并发（High Concurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。 高并发相关常用的一些指标有响应时间（Response Time），吞吐量（Throughput），每秒查询率QPS（Query Per Second），并发用户数等。 响应时间：系统对请求做出响应的时间。例如系统处理一个HTTP请... 阅读全文
posted @ 2017-11-15 08:45 迷雾千寻 阅读(475) 评论(0) 推荐(0)
【转载】究竟啥才是互联网架构“高可用”
摘要：一、什么是高可用 高可用HA（High Availability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。 假设系统一直能够提供服务，我们说系统的可用性是100%。 如果系统每运行100个时间单位，会有1个时间单位无法提供服务，我们说系统的可用性是99%。 很多公司的高可用目标是4个9，也就是99.99%，这就意味着，系统的年停机时间为8.... 阅读全文
posted @ 2017-11-15 08:43 迷雾千寻 阅读(214) 评论(0) 推荐(0)
【转载】软件架构设计【学习】
摘要：引言 软件架构设计就是软件系统的‘布局谋篇’，是软件抽象发展到一定阶段的产物。软件设计人员学习软件架构知识，旨在站在较高的层面上，整体的解决好软件的设计，复用，质量和维护等方面的实际问题。本文以图形的方式进行总结归纳，从软件架构的描述，设计，风格，评价，形成方法进行阐述。 软件架构设计总述： 软件架构的概念 软件架构的意义 软件架构的风格 分层架构 面向服务的架构（SOA） 特定领域的... 阅读全文
posted @ 2017-11-14 16:52 迷雾千寻 阅读(342) 评论(0) 推荐(0)
【转载】如何实施异构服务器的负载均衡及过载保护？
摘要：零、需求缘起 第一篇文章“一分钟了解负载均衡”和大家share了互联网架构中反向代理层、站点层、服务层、数据层的常用负载均衡方法。 第二篇文章“lvs为何不能完全代替DNS轮询”和大家share了互联网接入层负载均衡需要解决的问题及架构演进。 在这两篇文章中，都强调了“负载均衡是指，将请求/数据【均匀】分摊到多个操作单元上执行，负载均衡的关键在于【均匀】”。 然而，后端的service有可能部署在... 阅读全文
posted @ 2017-11-14 10:27 迷雾千寻 阅读(184) 评论(0) 推荐(0)
【转载】线程数究竟设多少合理
摘要：一、需求缘起 Web-Server通常有个配置，最大工作线程数，后端服务一般也有个配置，工作线程池的线程数量，这个线程数的配置不同的业务架构师有不同的经验值，有些业务设置为CPU核数的2倍，有些业务设置为CPU核数的8倍，有些业务设置为CPU核数的32倍。 “工作线程数”的设置依据是什么，到底设置为 阅读全文
posted @ 2017-11-14 09:27 迷雾千寻 阅读(197) 评论(0) 推荐(0)
【转载】lvs为何不能完全替代DNS轮询
摘要：上一篇文章“一分钟了解负载均衡的一切”引起了不少同学的关注，评论中大家争论的比较多的一个技术点是接入层负载均衡技术，部分同学持这样的观点： 1）nginx前端加入lvs和keepalived可以替代“DNS轮询” 2）F5能搞定接入层高可用、扩展性、负载均衡，可以替代“DNS轮询” “DNS轮询”究竟是不是过时的技术，是不是可以被其他方案替代，接入层架构技术演进，是本文将要细致讨论的内容。 一... 阅读全文
posted @ 2017-11-13 18:45 迷雾千寻 阅读(216) 评论(0) 推荐(0)
【转载】一分钟了解负载均衡的一切
摘要：什么是负载均衡 负载均衡（Load Balance）是分布式系统架构设计中必须考虑的因素之一，它通常是指，将请求/数据【均匀】分摊到多个操作单元上执行，负载均衡的关键在于【均匀】。 常见的负载均衡方案 常见互联网分布式架构如上，分为客户端层、反向代理nginx层、站点层、服务层、数据层。可以看到，每一个下游都有多个上游调用，只需要做到，每一个上游都均匀访问每一个下游，就能实现“将请求/数据... 阅读全文
posted @ 2017-11-13 17:13 迷雾千寻 阅读(189) 评论(0) 推荐(0)
【转载】单点系统架构的可用性与性能优化
摘要：一、需求缘起 明明架构要求高可用，为何系统中还会存在单点？ 回答：单点master的设计，会大大简化系统设计，何况有时候避免不了单点 在哪些场景中会存在单点？先来看一下一个典型互联网高可用架构。 典型互联网高可用架构： （1）客户端层，这一层是浏览器或者APP，第一步先访问DNS-server，由域名拿到nginx的外网IP （2）负载均衡层，nginx是整个服务端的入口，负责反向代理与... 阅读全文
posted @ 2017-11-13 15:46 迷雾千寻 阅读(990) 评论(0) 推荐(0)
【转载】互联网架构，如何进行容量设计？
摘要：一，需求缘起 互联网公司，这样的场景是否似曾相识： 场景一：pm要做一个很大的运营活动，技术老大杀过来，问了两个问题： （1）机器能抗住么？ （2）如果扛不住，需要加多少台机器？ 场景二：系统设计阶段，技术老大杀过来，又问了两个问题： （1）数据库需要分库么？ （2）如果需要分库，需要分几个库？ 技术上来说，这些都是系统容量预估的问题，容量设计是架构师必备的技能之一。常见的容量评估包括数据量、并发... 阅读全文
posted @ 2017-11-13 10:11 迷雾千寻 阅读(243) 评论(0) 推荐(0)

1 2 下一页