随笔- 32  评论- 5  文章- 0 
  2020年2月17日
摘要:数据分布设计原则 数据均匀:不同存储节点中存储的数据要尽量均衡,用户访问也要做到均衡 数据稳定:当存储节点出现故障需要移除或者扩增时,数据按照分布规则得到的结果应该尽量保持稳定,不要出现大规模的数据迁移 节点异构性:不同存储节点的硬件配置可能差别较大 隔离故障域:保证数据的可用和可靠性 性能稳定性: 阅读全文
posted @ 2020-02-17 11:38 BattleScars 阅读 (35) 评论 (0) 编辑
摘要:顾客:生产和消费数据 顾客相当于分布式存储系统中的应用程序。根据数据的产生和使用,顾客分为生产者和消费者两种类型。生产者负责添加数据,消费者负责使用数据 根据数据的特征,不同的数据划分为三类:结构化数据,半结构化数据和非结构化数据 结构化数据:关系模型数据,特征是数据关联较大,格式固定,一般采用分布 阅读全文
posted @ 2020-02-17 11:00 BattleScars 阅读 (42) 评论 (0) 编辑
  2020年2月16日
摘要:CAP的定义 C: Consistency,一致性,指的是所有节点在同一时刻的数据是相同的 A: Available,可用性,指的是系统提供的服务一直处于可用状态 P:Partition tolerance,分区容错性,指分布式系统在遇到网络分区的情况下,仍然能响应用户的请求 CAP理论指的是在分布 阅读全文
posted @ 2020-02-16 23:09 BattleScars 阅读 (19) 评论 (0) 编辑
  2020年2月15日
摘要:消息队列的基本原理 消息队列是基于队列实现的,存储具有特定格式的消息数据。消息队列包括生产者,消息队列以及消费者。 RocketMQ的原理与工作机制 架构图 NameServer Cluster:名字服务器集群,类似于kafka中的zookeeper,提供分布式协调与管理的功能 Producer C 阅读全文
posted @ 2020-02-15 11:19 BattleScars 阅读 (10) 评论 (0) 编辑
  2020年2月14日
摘要:发布订阅的基本工作原理 点对点模式: 虽然支持多个消费者,但是一个消息只能被一个消费者消费,不允许重复消费 发布订阅模式:消息中心通常以主题进行划分,每条消息都会有相应的主题,消息被存储到自己所属的主题中,订阅该主题的所有消费者均可以获取该消息 Kafka发布订阅原理及工作机制 基本架构 zooke 阅读全文
posted @ 2020-02-14 10:52 BattleScars 阅读 (20) 评论 (0) 编辑
  2020年2月13日
摘要:远程调用的概念 1.本地调用和远程调用 本地调用: 进程内函数之间的相互调用 远程调用:进程间函数的相互调用,是进程间通信的一种方式 2.远程调用的两个分类 本地过程调用LPC:运行在同一台机器上的进程之间的函数相互调用 远程过程调用RPC: 运行在不同机器上的进程间函数之间的相互调用 3.同步调用 阅读全文
posted @ 2020-02-13 21:25 BattleScars 阅读 (12) 评论 (0) 编辑
摘要: 阅读全文
posted @ 2020-02-13 10:00 BattleScars 阅读 (18) 评论 (0) 编辑
摘要:Actor模型定义 一种分布式并行计算模型。该模型有自己的一套规则,规定了Actor的内部计算逻辑以及多个Actor之间的通信规则。Actor模型通过异步消息模式,实现分布式系统的高并发 Actor计算模式 Actor模型的三要素: 1. 状态:Actor组件本身的信息 2. 行为:Actor的计算 阅读全文
posted @ 2020-02-13 09:58 BattleScars 阅读 (14) 评论 (0) 编辑
摘要:流式计算的概念 实时获取来自不同数据源的海量数据,进行实时分析处理,获得有价值的信息,一般用于处理数据密集型应用。流式计算属于持续性、低时延、事件驱动型的计算作业。 流式计算工作原理 1.提交流式计算作业,流式计算作业属于常驻计算服务,必须预先定义好计算逻辑,并提交到流计算系统中,在系统运行期间,流 阅读全文
posted @ 2020-02-13 09:55 BattleScars 阅读 (35) 评论 (0) 编辑
摘要:分治法 基本思想:将一个复杂,难以直接解决的大问题,分割成一些规模较小,可以比较简单的或者直接求解的子问题,这些子问题之间相互独立且与原问题形式相同,递归求解这些子问题,然后将子问题的解合并得到原问题的解。 MR基本原理 基本组件 Master:MRAppMaster,负责分配任务,协调任务的运行, 阅读全文
posted @ 2020-02-13 09:52 BattleScars 阅读 (12) 评论 (0) 编辑