文章分类 -  大数据

摘要:在namenode可以实现;但是datenode不可以:待配置的hadoop-site.xml 究竟在哪里呀?配置了自己的2个hadoop-site.xml 都不能实现功能(集群运行时候配的,一定是这个问题,下次重新试一下) HDFS支持fsck命令用以检查各种不一致。fsck用以报告各种文件问题, 阅读全文
posted @ 2018-04-19 02:03 bioamin 阅读(319) 评论(0) 推荐(0)
摘要:转载:shayzhang https://www.cnblogs.com/van19/p/5756448.html 一: Hadoop Streaming详解 1、Streaming的作用 Hadoop Streaming框架,最大的好处是,让任何语言编写的map, reduce程序能够在hadoo 阅读全文
posted @ 2018-04-15 17:41 bioamin 阅读(338) 评论(0) 推荐(0)
摘要:部分转载自李闹闹童鞋的博客,感谢博主 实验部分亲测,1台主节点2台计算节点。 1)Streaming简介 Hadoop的MapReduce和HDFS均采用Java进行实现,默认提供Java编程接口,用户通过这些编程接口,可以定义map、reduce函数等等。 但是如果希望使用其他语言编写map、re 阅读全文
posted @ 2018-04-13 18:39 bioamin 阅读(2081) 评论(0) 推荐(0)
摘要:还有一篇理论讲解,很到位,提到虚拟节点的应用: https://www.cnblogs.com/lpfuture/p/5796398.html 本文转载链接:https://blog.csdn.net/gerryke/article/details/53939212 一致性哈希算法,作为分布式计算的 阅读全文
posted @ 2018-04-12 15:57 bioamin 阅读(108) 评论(0) 推荐(0)