随笔分类 -  Hadoop

摘要：前言这段时间在用hdfs，由于要处理的文件比较多，要及时产出旧文件，但是发现hdfs的blocks数一直在上涨，经分析是hdfs写入的速度较快，而block回收较慢，所以分心了一下hadoop删文件的流程，并做了调优，希望对遇到此类问题的程序猿们有帮助。正文 经分析与查看源码发现，hdfs删除文件的流程是这样的：（1）java程序中的DFSClient调用delete函数，删除文件 （2）NameNode将文件从他的namespace中删除（3）NameNode通过心跳的方式，发命令给DataNode，告诉DataNode哪些block块该删除，然后DataNode才真正将文件删除。当然这.. 阅读全文

摘要：一、[#|2013-09-16T18:19:02.663+0800|INFO|glassfish3.1.2|javax.enterprise.system.std.com.sun.enterprise.server.logging|_ThreadID=23364;_ThreadName=Thread-2;|2013-09-1618:19:02,663 WARN DataStreamerException: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File:xxx could only be replicatedto 阅读全文

摘要：问题：hadoop管理界面，ip：50070，中点击Browse the filesystem会出现网页无法访问，看地址栏，是集群中的主机名：:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=/原因：浏览器找不到主机名对应的ipresolution：在本地hosts中配置ip和主机名的对应关系，hosts文件路径C:\Windows\System32\drivers\etc （这是win7的） 阅读全文

摘要：启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件hadoop dfs –cat [file_path]eg:hadoop dfs -cat /user/wangkai.pt/data.txt3、将本地文件存储至hadoophadoop fs –put [本地地址] [hadoop目录]hadoop fs –put 阅读全文

摘要：1. 安装JDK1.7.0下载完成后在取得root权限后执行：[root@sea sea]# sudo rpm -ivh /目录/jdk-7-linux-x64.rpm 执行结果：Preparing... ################################### [100%] 1:jdk ##################################### [100%] Unpacking JAR files... rt.jar... jsse.jar... charsets.jar... tools.jar... localedata.jar...　2. 设置... 阅读全文

摘要：1、HDFS简介 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。 Hadoop整合了众多文件系统，在其中有一个综合性的文件系统抽象，它提供了文件系统实现的各类接口，HDFS只是这个抽象文件系统的一个实例。提供了一个高层的文件系统抽象类org.apache.h.. 阅读全文

摘要：1、Hadoop简介1、hadoop的诞生l Nutch和Lucene之父Doug Cutting在2006年完成Hadoop项目。l Hadoop并不是一个单词，它来源于Doug Cutting小儿子对所玩的小象玩具牙牙学语的称呼。就像是google也是由小孩子命名一样。l 后又经过5年的开发，hadoop在所有云计算系统是稳居第一。l Hadoop目前使用最广泛的版本为hadoop-0.20版本。目前最新版本为hadoop-1.03。l Hadoop运行在Linux系统中。在windows上安装可使用cgywin模拟linux环境。2、hadoop的组成l hadoop Common – 阅读全文