yyyyyyyyyyyyyyyyyyyy

摘要： Hadoop简介 Hadoop的概要介绍 Hadoop，是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。该平台使用的是面向对象编 阅读全文

摘要： Hadoop实战实例 Hadoop实战实例 Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的run-time系统 阅读全文

摘要： 摘要：Admaster数据挖掘总监 随着互联网、移动互联网和物联网的发展，谁也无法否认，我们已经切实地迎来了一个海量数据的时代，数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB，对这些海量数据的分析已经成为一个非常重要且紧迫的需求。 随着互联网、移动互联网和物联网的发展，谁也无法否认， 阅读全文

摘要： 跟上节奏 大数据时代十大必备IT技能 新的想法诞生新的技术，从而造出许多新词，云计算、大数据、BYOD、社交媒体……在互联网时代，各种新词层出不穷，让人应接不暇。这些新的技术，这些新兴应用和对应的IT发展趋势，使得IT人必须了解甚至掌握最新的IT技能。 新的想法诞生新的技术，从而造出许多新词，云计算 阅读全文

摘要： 深入解析：分布式系统的事务处理经典问题及模型(转载分享) 摘要：分布式系统需要在数据完整、一致性和性能间做平衡。本文系统介绍了处理分布式数据一致性的技术模型，如：Master-Slave，Master-Master，2PC/3PC，经典的将军问题，Paxos，以及Dynamo的NRW和VectorC 阅读全文

摘要： Hive深入浅出 1. Hive是什么 1) Hive是什么？ 这里引用 Hive wiki 上的介绍： Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to enable easy 阅读全文

摘要： 数据分析≠Hadoop+NoSQL 数据分析≠Hadoop+NoSQL 目录(?)[+] 目录(?)[+] Hadoop让大数据分析走向了大众化，然而它的部署仍需耗费大量的人力和物力。在直奔Hadoop之前，是否已经将现有技术推向极限？这里总结了对Hadoop投资前可以尝试的10个替代方案，省时、省 阅读全文

摘要： 你的数据根本不够大，别老扯什么Hadoop了 本文原名“Don’t use Hadoop when your data isn’t that big ”，出自有着多年从业经验的数据科学家Chris Stucchio，纽约大学柯朗研究所博士后，搞过高频交易平台，当过创业公司的CTO，更习惯称自己为统计 阅读全文

摘要： 海量数据处理 海量数据处理 海量数据处理是基于海量数据上的存储、处理、操作。 所谓海量，就是数据量很大，可能是TB级别甚至是PB级别，导致无法一次性载入内存或者无法在较短时间内处理完成。面对海量数据，我们想到的最简单方法即是分治法，即分开处理，大而化小，小而治之。我们也可以想到集群分布式处理。 1 阅读全文

摘要： 海量数据处理算法—Bloom Filter 海量数据处理算法—Bloom Filter 1. Bloom-Filter算法简介 Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。 Bloom Filter（BF）是一种空间效率很高的随机数据 阅读全文