随笔分类 -  Hadoop

大数据生态圈
HDFS中JAVA API的使用
摘要：HDFS中JAVA API的使用 HDFS是一个分布式文件系统，既然是文件系统，就可以对其文件进行操作，比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。 对分HDFS中的文件操作主要涉及一下几个类： Configuration类：该类的 阅读全文
posted @ 2016-12-11 21:51 xiaorong1115 阅读(187) 评论(0) 推荐(0)
HDFS
摘要：HDFS集群主要由管理文件系统元数据的NameNode和存储实际数据的DataNode组成. HDFS架构描述了NameNode,DataNodes与客户端的基本交互.客户端与NameNode联系以进行文件元数据或文件修改，并直接与DataNode执行实际的文件I / O。 Hadoop一些显著的特 阅读全文
posted @ 2016-12-07 21:47 xiaorong1115 阅读(124) 评论(0) 推荐(0)
Hadoop FS shell commands
摘要：appendToFileUsage: hadoop fs -appendToFile <localsrc> ... <dst>退出状态：0-成功1-失败 $ hadoop fs -appendToFile 1130.txt hadoopfile$ hadoop fs -appendToFile - 阅读全文
posted @ 2016-12-06 22:08 xiaorong1115 阅读(214) 评论(0) 推荐(0)
Eclipse查看hadoop源代码出现Source not found,是因为没有添加.zip
摘要：在我们hadoop编程中，经常遇到像看看hadoop的某个类中函数的功能。但是我们会遇到一种情况就是Source not found。遇到这个问题，该如何解决。因为我们已经引入了包，为什么会找不到。如果不了解怎么引入的可以参考：hadoop开发方式总结及操作指导http://www.aboutyun 阅读全文
posted @ 2016-12-04 09:40 xiaorong1115 阅读(1204) 评论(0) 推荐(0)
Win7环境下Eclipse连接Hadoop2.2.0
摘要：准备： 确保hadoop2.2.0集群正常运行 1.eclipse中建立java工程，导入hadoop2.2.0相关jar包 2.在src根目录下拷入log4j.properties，通过log4j查看详细日志 log4j.rootLogger=debug, stdout, R log4j.appe 阅读全文
posted @ 2016-12-03 22:37 xiaorong1115 阅读(392) 评论(0) 推荐(0)
Hadoop-2.7.3 问题收集
摘要：问题1：在DFS Lcation 上不能多文件进行操作： 在Hadoop上的每个节点上修改该文件 conf/mapred-site.xml 增加： <property> <name>dfs.permissions</name> <value>false</value> </property> 关闭权 阅读全文
posted @ 2016-12-03 21:21 xiaorong1115 阅读(172) 评论(0) 推荐(0)
HDFS的Java操作
摘要：HDFS的Java操作(一) 阅读全文
posted @ 2016-12-03 20:54 xiaorong1115 阅读(265) 评论(0) 推荐(0)