hadoop_dev

摘要： 原文地址：http://blog.csdn.net/opennaive/article/details/7483523 题记：初学分布式文件系统，写篇博客加深点印象。GFS的特点是使用一堆廉价的商用计算机支撑大规模数据处理。 虽然"The Google File System " 是03年发表的老文 阅读全文

摘要： 1、count统计结果错误 这是由于分布式集群正在迁移数据，它导致count结果值错误，需要使用aggregate pipeline来得到正确统计结果，例如： db.collection.aggregate([{$group: {_id: null, count: {$sum: 1}}}]) 引用： 阅读全文

摘要： 转:http://www.th7.cn/db/nosql/201510/135382.shtml 1. HDFS的文件append功能 早期版本的HDFS不支持任何的文件更新操作，一旦一个文件创建、写完数据、并关闭之后，这个文件就再也不能被改变了。为什么这么设计？是为了与MapReduce完美配合， 阅读全文

摘要： 使用maven编译该项目： mvn clean package 运行：storm jar word-count-1.0.jar WordCountTopolopgyAllInJava 结果如下： hello word!moon 811hello word!an 829hello word!apple 阅读全文

摘要： 一、storm是一个用于实时流式计算的分布式计算引擎，弥补了Hadoop在实时计算方面的不足（Hadoop在本质上是一个批处理系统）。 二、storm在实际应用场景中的位置一般如下： 其中的编号1~5说明如下： 1、Flume用于收集日志信息； 2、结合数据传输功能可以把收集到的日志信息实时传输到k 阅读全文

摘要： 本日志大部分都不是原创的转载复制的会带链接保持版权 工作中使用mongodb已经好久了，讽刺的是到了最后快离职的时候才有时间好好研究下源码。 印象：mongodb是一个内存数据库，数据都是放到内存里面的，所以速度上不比redis慢。 想法： mongodb对数据的操作大部分都在内存中。但mongod 阅读全文

摘要： 转自:http://www.csdn.net/article/2014-06-12/2820196-Storm 摘要：实时计算一般都是针对海量数据进行的，一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。今天这篇文章详细介绍了实时计算，流数据处理系统简介与简单分析。 编者按：互联 阅读全文

摘要： 转自:http://blog.csdn.net/exceptional_derek/article/details/40384659 先看一段代码： Java代码 public class Locale { private final static Map<String, Locale> map = 阅读全文

摘要： 转自:http://swiftlet.net/archives/1259 HashMap的遍历有两种方式，如下所示：第一种利用entrySet的方式： 1 2 3 4 5 6 7 Map map = new HashMap(); Iterator iter = map.entrySet().iter 阅读全文

摘要： PS: 苦学一周全文检索，由原来的搜索小白，到初次涉猎，感觉每门技术都博大精深，其中精髓亦是不可一日而语。那小博猪就简单介绍一下这一周的学习历程，仅供各位程序猿们参考，这其中不涉及任何私密话题，因此也不用打马赛克了，都是网络分享的开源资料，当然也不涉及任何利益关系。 如若转载，还请注明出处——xin 阅读全文