随笔分类 - 软件体系架构
1
摘要：微博用户兴趣建模系统整体架构如图1所示，其由实时系统和离线挖掘系统两个子系统构成。因为每时每刻都有大量微博用户发布新的微博，实时系统需要及时抽取兴趣词和用户兴趣分类，而离线挖掘系统的目的则是优化用户兴趣系统效果。 图1.微博用户兴趣建模系统整体架构 每当有用户发布新的微博，则这条微博作为新信息进入实
阅读全文
摘要：微博深度学习平台是微博机器学习平台的重要组成部分，除继承微博机器学习平台的特性和功能以外，支持TensorFlow、Caffe等多种主流深度学习框架，支持GPU等高性能计算集群。微博深度学习平台架构如图1所示。 下面将以机器学习工作流、控制中心、深度学习模型训练集群、模型在线预测服务等典型模块为例，
阅读全文
摘要：第三代技术体系 微博平台的第三代技术体系，使用正交分解法建立模型：在水平方向，采用典型的三级分层模型，即接口层、服务层与资源层；在垂直方向，进一步细分为业务架构、技术架构、监控平台与服务治理平台。下面是平台的整体架构图： 如上图所示，正交分解法将整个图分解为3*4=12个区域，每个区域代表一个水平维
阅读全文
摘要：1、应用层面 引入缓存 在应用层和数据库层增加缓存层，热点数据放入缓存。如系统中常用的开关、白名单等数据，读取频率高写入频率低，针对这部分数据就可以在JimDB(Redis)中存储一份，JimDB (Redis)会把高频数据存储在内存中，读写性能很高。数据写入缓存时设置一个有效期，更新数据库成功后，
阅读全文
摘要：青龙系统架构最佳实践 青龙系统架构演进过程中，从高可用，高性能，数据一致性，用户体验四个方面，积累了丰富的经验，确保了青龙系统在发展过程赢得了公司内外的口碑。 高可用 每年“双十一”都是网购狂欢节，假设当天哪个电商系统出现系统不可用，那几乎是灾难性的，不仅会导致用户快速流失，而且，公司将承受重大损失
阅读全文
摘要：一元抢宝系统是京东虚拟新兴的一个业务系统，上线以来订单量一直持续增长。在距离618前两个月时，京东商城商品虚拟研发部对系统做了整体预估，订单量快速增长及618大促的到来都将带来单量剧增，届时势必会对数据库容量和负载造成压力。分析结果表明数据库很可能成为影响性能的瓶颈，并决定对数据库底层做分库分表改造
阅读全文
摘要：1、SOA是什么？ 面向服务的架构（SOA）是一个组件模型，它将应用程序的不同功能单元（称为服务）进行拆分，并通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种各样的系统中的服务可以以一种统一和通用的方式
阅读全文
摘要：库存什么时候进行预占(或者扣减)呢 商家销售的商品数量是有限的，用户下单后商品会被扣减，我们可以怎么实现呢？ 举个例子： 一件商品有1000个库存，现在有1000个用户，每个用户计划同时购买1000个。 （实现方案1）如果用户加入购物车时进行库存预占，那么将只能有1个用户将1000个商品加入购物车。
阅读全文
摘要：一、功能整合 1、各功能如何实现？ 离线同步：可理解为将根据一个sql查询出的数据同步到其它目标存储上； 实时订阅：通过实时解析mysql-binlog,将数据的变动封装成事件存于消息队列，供用户订阅消费； 实时同步：提供一些常见的订阅客户端料现，实时消费消息，将数据的变动应用于目标存储上。 2、如
阅读全文
摘要：同主站常规实物订单中心一样，京米虚拟订单中心定位于订单数据的汇聚、变更及状态维护等，目前已经聚合了手机充值、加油卡、机票酒店、景点门票火车票、点卡页游等大量虚拟商品和部分非虚拟商品的订单详情数据，同时为京东主站订单中心提供订单展示，对接风控、营销等业务方提供订单数据分析应用等。虚拟订单中心的核心功能
阅读全文
摘要：B2B技术架构演变 业务架构1.0 1）架构 从上图可以看出，业务架构 1.0 分为 3 层： 业务层：主要是 B 平台的所有业务线 服务层：包含订单、价格、商品、用户等 SOA 服务系统 存储层：使用 mysq l数据库进行存储 业务层：主要是 B 平台的所有业务线 服务层：包含订单、价格、商品、
阅读全文
摘要：有别于社交网络、搜索和游戏等网站，电商网站的用户流量具有操作性强、随时令变化等特点。在欧美国家，Black Friday和Cyber Monday标志着节假日消费的高峰。影响电商流量峰值的主要因素是抢购、促销和恶意攻击，尤其是京东618店庆和双11等大规模的促销活动。高流量、高并发情况下，如何保证整
阅读全文
摘要：游戏服务器特征 游戏服务器端，是一个会长期运行的程序，并且它还要服务于多个不定时，不定点的网络请求。所以这类软件的特点是要非常关注稳定性和性能。这类程序如果需要多个协作来提高承载能力，则还要关注部署和扩容的便利性；同时，还需要考虑如何实现某种程度容灾需求。由于多进程协同工作，也带来了开发的复杂度，这
阅读全文
摘要：弹性调度的基本模式 如前文所言，方舟的弹性调度希望提供给用户的不只是一种弹性操作集群资源的能力，而是要对所有用户的成本和稳定性优化这件事负责。由于目标应用在各方面差异性很大，所涉及的配置项数以千计并且一直处于动态变化状态，全靠我们人工进行配置管理非常不现实。 由此，方舟弹性调度提出了一种闭环反馈式的
阅读全文
摘要：什么是搜索离线？ 何谓离线？在阿里搜索工程体系中我们把搜索引擎、在线算分、SearchPlanner等ms级响应用户请求的服务称之为“在线”服务；与之相对应的，将各种来源数据转换处理后送入搜索引擎等“在线”服务的系统统称为“离线”系统。商品搜索的业务特性（海量数据、复杂业务）决定了离线系统从诞生伊始
阅读全文
摘要：总体架构 经过深入的讨论和分析，最后我们认为，根本原因还是系统设计方案有问题，也就是说，技术上是比较弱的。 得到这个根本原因之后，解决策略就比较明显，总结一句话就是“把运维的锅让研发去背”，不要指望你的运气好或者烧香、提高某某人的运维能力，而是假设所有的这些问题都有可能发生，发生之后你的系统是不是有
阅读全文
摘要：淘宝网拥有国内最具商业价值的海量数据。截至当前，每天有超过30亿的店铺、商品浏览记录，10亿在线商品数，上千万的成交、收藏和评价数据。如何从这些数据中挖掘出真正的商业价值，进而帮助淘宝、商家进行企业的数据化运营，帮助消费者进行理性的购物决策，是淘宝数据平台与产品部的使命。 淘宝海量数据产品技术架构
阅读全文
摘要：系统质量属性是软件系统在质量方面的需求，本文从架构来分析质量属性的实现，实践中最常用的6个系统质量属性包括可用性（Availability）、可修改性（Modifiability）、性能（Performance）、安全性（Security）、可测试性（Testability）和易用性（Usabili
阅读全文
摘要：余额宝的技术创新 基金直销和 TA 清算的整合。传统的基金系统直销和清算是分开。直销系统每天要把数据以文件形式导入清算系统里去。这件事情我们做了很大的改进，这么大体量数据来说，每天导入导出这个数据不可想象，在这里做了一个直销和 TA 融合，后面我会有一个详细的介绍。 交易的简化，监管大的框架下，满足
阅读全文
摘要：支付宝目前整个平台被分成了三个层： 运维平台（IAAS）：主要提供基础资源的可伸缩性，比如网络、存储、数据库、虚拟化、IDC等，保证底层系统平台的稳定性； 技术平台（PAAS）：主要提供可伸缩、高可用的分布式事务处理和服务计算能力，能够做到弹性资源的分配和访问控制，提供一套基础的中间件运行环境，屏蔽
阅读全文
1
浙公网安备 33010602011771号