文章分类 -  big data

摘要:原文出处:http://www.cnblogs.com/wenBlog/p/4423497.html SQL Server中使用了WAL(Write-Ahead Logging)技术来保证事务日志的ACID特性。而且大大减少了IO操作。 WAL的核心思想是:在数据写入到数据库之前,先写入到日志.再将 阅读全文
posted @ 2017-09-21 17:34 青青子衿J 阅读(188) 评论(0) 推荐(0)
摘要:原文出处:http://www.cnblogs.com/shishanyuan/archive/2015/08/04/4700615.html 1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发 阅读全文
posted @ 2017-08-26 13:00 青青子衿J
摘要:原文出处:http://blog.csdn.net/zengmingen/article/details/52143300 1. 当前HDFS架构和功能概述 我们先回顾一下HDFS功能。HDFS实际上具有两个功能:命名空间管理(Namespace management)和块/存储管理服务(block 阅读全文
posted @ 2016-11-18 10:42 青青子衿J
摘要:原文出处:http://www.linuxidc.com/Linux/2014-04/100056.htm 最早接触Federation这个词还是第一家公司用的DB2联邦数据库。 第一代Hadoop HDFS: 结构上由一个namenode和众多datanode组成。 功能上划分为namespace 阅读全文
posted @ 2016-11-17 13:58 青青子衿J
摘要:原文出处:http://www.open-open.com/lib/view/open1385685943484.html mapreduce是一种模式,一种什么模式呢?一种云计算的核心计算模式,一种分布式运算技术,也是简化的分布式编程模式,它主要用于解决问题的程序开发模型,也是开发人员拆解问题的方 阅读全文
posted @ 2016-11-16 11:34 青青子衿J