随笔分类 -  hadoop

遇到问题
摘要：（1）在使用eclipse远程调用hadoop时，抛出的异常，eclipse默认使用的是8020端口，而我的nameNode使用的9000,所以我将nameNode的端口设置为8020，问题解决 阅读全文
posted @ 2017-06-05 23:11 卖臭豆腐喽 阅读(287) 评论(0) 推荐(0)
executable null\bin\winutils.exe in the Hadoop binaries.
摘要：在windows 使用eclipse远程调用hadoop集群时抛出下面异常 这个问题 （1）你没有设置hadoop的环境变量，所以提示 null\bin\....... （2）你没有 winutils.exe winutils.exe的下载地址：https://github.com/srccodes 阅读全文
posted @ 2017-06-05 22:21 卖臭豆腐喽 阅读(534) 评论(0) 推荐(0)
hadoop2.6.4 搭建伪分布式
摘要：安装jdk1.7 http://www.cnblogs.com/zhangXingSheng/p/6228432.html 新增个域名 [root@node4 sysconfig]# more /etc/hosts 127.0.0.1 localhost 192.168.177.124 hadoop 阅读全文
posted @ 2016-12-28 11:29 卖臭豆腐喽 阅读(732) 评论(0) 推荐(0)
hadoop2.6.4 搭建单机模式
摘要：注（要先安装jdk，最好jdk版本>=1.7） 安装jdk http://www.cnblogs.com/zhangXingSheng/p/6228432.html 给普通用户添加suto权限(使用root权限时无需密码) 1：切换成root用户 2：编辑 /etc/sudoers 文件（该文件的默 阅读全文
posted @ 2016-12-28 10:11 卖臭豆腐喽 阅读(461) 评论(0) 推荐(0)
hadoop2的思想架构
摘要：mapreduce 2 思想架构 mr2解决了mr1的jobTracker的单点颈瓶问题，这个问题会影响hadoop的扩展性，集群的可靠性，mr1中jobTracker负责集群作业的分发，管理，调度，同时还必须和集群中所有的节点保持通信，了解集群的资源情况和运行的状态，所以jobTracker就负担 阅读全文
posted @ 2016-12-26 15:48 卖臭豆腐喽 阅读(1254) 评论(0) 推荐(1)
一致性模型对系统设计的重要性，数据的备份
摘要：文件系统的一致性和应用程序的方法有关，如果不调用sync()，就需要做好因为客户端异常或者服务端故障而缺失部分数据。缺失数据这对应用来说是不可接受的。所以需要在合适的地方调用sync(),比如在写入一定量的数据后，尽管sync()用来最大限度的减轻hdfs的负担，但是他仍有不可忽视的开销。所以你需要 阅读全文
posted @ 2016-12-26 15:46 卖臭豆腐喽 阅读(262) 评论(0) 推荐(0)
hdfs的读写数据流
摘要：hdfs的读： 首先客户端通过调用fileSystem对象中的open()函数读取他需要的的数据，fileSystem是DistributedFileSystem的一个实例， DistributedFileSystem会通过rpc协议和nameNode通信，来确定请求文件块所在的位置。对于每个返回的 阅读全文
posted @ 2016-12-26 15:45 卖臭豆腐喽 阅读(791) 评论(0) 推荐(0)
hadoop 笔记
摘要：我们常说的分布式系统，其实就是分布式软件系统，支持分布式处理的软件系统。他是在通信网络互联的多处理机体系结构上执行任务。 hadoop是分布式软件系统中文件系统层的软件，他实现了分布式文件系统和部分分布式数据库系统。hadoop中的分布式文件系统hdfs可以实现数据在计算机集群组成的云上，高效的存储 阅读全文
posted @ 2016-12-26 15:43 卖臭豆腐喽 阅读(267) 评论(0) 推荐(0)