摘要: 概述 Map Reduce 分布式并行编程:借助一个集群通过多台机器同时并行处理大规模数据集 1、mapreduce编程思想 核心设计两个函数:Map函数和Reduce函数 策略:分而治之,把非常庞大的数据集,切分成非常多独立的小分片,然后为每一个分片单独地启动一个map任务,最终通过多个map任务 阅读全文
posted @ 2020-05-17 23:44 ZERSOG 阅读(518) 评论(0) 推荐(0) 编辑
摘要: 云计算:通过对(硬件、平台、软件)资源的虚拟化提供按需服务。 IaaS:基础设施即服务,存储、计算、网络等硬件资源通过虚拟化以服务形式提供,关键词:host; PaaS:平台即服务,开发平台和操作系统以服务的形式提供,关键词:build; SaaS:软件即服务,应用软件以服务形式提供,关键词:con 阅读全文
posted @ 2020-05-17 23:06 ZERSOG 阅读(175) 评论(0) 推荐(0) 编辑
摘要: 传统的关系型数据库性能上的缺陷: 无法满足海量数据的管理需求 无法满足高并发的需求 无法满足高可扩展性和高可用性的需求 主从实现读写负载服务器分离(MySQL集群) 分库:复杂,延迟,扩容问题(增加新机器,对整个数据集重新分区),重新负载均衡 Web2.0通常是不要求严格数据库事务 Web2.0不要 阅读全文
posted @ 2020-05-17 19:29 ZERSOG 阅读(335) 评论(0) 推荐(0) 编辑