zourui4271

摘要： 1.分布式 将一个大的系统划分为多个业务模块，业务模块分别部署到不同的机器上，各个业务模块之间通过接口进行数据交互。区别分布式的方式是根据不同机器不同业务。 上面：service A、B、C、D 分别是业务组件，通过API Geteway进行业务访问。 注：分布式需要做好事务管理。 2.分布式是否属 阅读全文

摘要： 在互联网大行其道的今天，各种分布式系统已经司空见惯。搜索引擎、电商网站、微博、微信、O2O平台。。凡是涉及到大规模用户、高并发访问的，无一不是分布式。 关于分布式系统，并没有一个标准答案，说某某架构一定是最好的。不同的业务形态所面对的挑战不一样，使用的架构设计也不一样，通常都需要具体业务具体分析。 阅读全文

摘要： 状态化的判断是指两个来自相同发起者的请求在服务器端是否具备上下文关系。如果是状态化请求，那么服务器端一般都要保存请求的相关信息，每个请求可以默认地使用以前的请求信息。而无状态请求则不行，服务器端所能够处理的过程，他的处理信息必须全部来自于请求所携带的信息以及其他服务器端自身所保存的、并且可以被所有请 阅读全文

摘要： 特别说明：本文中所说的软件都指代面向最终用户的偏业务的软件，不包含操作系统、中间件等系统软件。 1、软件发展的几个阶段 软件工具和信息化阶段：软件最早是为了数值计算，以工具的形态出现的。包括PC时代我们非常熟悉的Excel，Word这些好东西。以及典型的企业内部管理的信息系统，例如：企业流程审批、进 阅读全文

摘要： https://blog.csdn.net/meyh0x5vDTk48P2/article/details/79303081 阅读全文

摘要： Apache Flink（下简称Flink）项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。本文假设读者已对MapRed 阅读全文

摘要： 面试回来之后把其中比较重要的问题记了下来写了个总结： （答案在后面） 1、简答说一下hadoop的map-reduce编程模型 2、hadoop的TextInputFormat作用是什么，如何自定义实现 3、hadoop和spark的都是并行计算，那么他们有什么相同和区别 4、为什么要用flume导 阅读全文

摘要： 文是分布式系统系列文章的第一篇，后续还会有分布式系统的本质、分布式系统的暗流、数据库如何确保操作被 100% 正确执行？等文章陆续刊发，敬请期待。 如果现在让你阐述一下什么是“分布式系统”，你脑子里第一下跳出来的是什么？我想，此时可以用苏东坡先生的一句诗，来形象地描述大家对分布式系统的认识： 横看成 阅读全文

摘要： https://www.infoq.cn/article/lw_Ax10OXkL2zcIDRkJ1 谈到分布式系统的价值，可能就得从 1953 年说起了。在这一年，埃布·格罗希（Herb Grosch）提出了一个他观察得出的规律——Grosch 定律。维基百科中是这样描述的： 计算机性能随着成本的平 阅读全文

摘要： 对于大数据计算框架而言，Shuffle阶段的设计优劣是决定性能好坏的关键因素之一。本文将介绍目前Spark的shuffle实现，并将之与MapReduce进行简单对比。本文的介绍顺序是：shuffle基本概念，MapReduce Shuffle发展史以及Spark Shuffle发展史。 （1） s 阅读全文