Mr.Ming2

2017年5月26日

摘要：概述 Hadoop分布式文件系统（HDFS）的权限模型与POSIX模型的文件和目录权限模型一致。每个文件和目录与所有者和组相关联。该文件或目录将权限划分为所有者的权限，作为该组成员的其他用户的权限、以及所有其他用户的权限。对于文件，需要r权限才能读取文件，并且需要w权限才能写入或附加到文件中。对于目阅读全文

posted @ 2017-05-26 15:41 Mr.Ming2 阅读(1862) 评论(0) 推荐(0) 编辑

HDFS概述（3）————HDFS Federation

摘要：本指南概述了HDFS Federation功能以及如何配置和管理联合集群。当前HDFS背景 HDFS主要有两层： 1.Namespace （1）包含目录，文件和块。（2）它支持所有命名空间相关的文件系统操作，如创建，删除，修改和列出文件和目录。 2.Block Storage，分为两部分：（1 阅读全文

posted @ 2017-05-26 14:50 Mr.Ming2 阅读(733) 评论(0) 推荐(0) 编辑

【转】NoClassDefFoundError和ClassNotFoundException

摘要：调试Hadoop源码时，一运行就报这个错误，后来发现是maven配置时，scope配置的问题， MAVEN Scope使用相关链接：http://acooly.iteye.com/blog/1788890 原文地址：http://blog.csdn.net/jamesjxin/article/de 阅读全文

posted @ 2017-05-26 12:34 Mr.Ming2 阅读(475) 评论(0) 推荐(0) 编辑

2017年5月25日

Integer的自动拆箱

摘要： Integer a = 数字；来赋值的时候Integer这个类是调用的public static Integer valueOf(int i)这个方法。我们来看看ValueOf(int i)的源码，可以发现他对传入参数i做了一个if判断。在-128<=i<=127的时候是利用已有的对象缓存Inte 阅读全文

posted @ 2017-05-25 09:32 Mr.Ming2 阅读(993) 评论(0) 推荐(0) 编辑

2017年5月24日

HDFS概述（2）————Block块大小设置

摘要：以下内容转自：http://blog.csdn.net/samhacker/article/details/23089157?utm_source=tuicool&utm_medium=referral http://snglw.blog.51cto.com/5832405/1643587 小文件B 阅读全文

posted @ 2017-05-24 21:09 Mr.Ming2 阅读(20758) 评论(0) 推荐(1) 编辑

sqoop使用的问题

摘要：找不到表 17/05/02 18:15:47 ERROR tool.ImportTool: Imported Failed: There is no column found in the target table tysecdb.secsight_config_count. Please ensu 阅读全文

posted @ 2017-05-24 15:41 Mr.Ming2 阅读(804) 评论(0) 推荐(0) 编辑

【转】String字符串相加的问题

摘要： String字符串相加的问题前几天同事跟我说我之前写的代码中在操作字符串时候，使用字符串相加的方式而不是使用StringBuffer或者StringBuilder导致内存开销很大。这个问题一直在困扰我，因为在《Think in java》一书中，作者说使用“+”拼接字符串并不比StringBuff 阅读全文

posted @ 2017-05-24 15:40 Mr.Ming2 阅读(990) 评论(0) 推荐(0) 编辑

2017年5月23日

HDFS概述（1）————HDFS架构

摘要：概述 Hadoop分布式文件系统（HDFS）是一种分布式文件系统，用于在普通商用硬件上运行。它与现有的分布式文件系统有许多相似之处。然而，与其他分布式文件系统的区别很大。HDFS具有高度的容错能力，旨在部署在低成本的硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大数据集的应用程序。HD 阅读全文

posted @ 2017-05-23 16:56 Mr.Ming2 阅读(3529) 评论(0) 推荐(0) 编辑

HDFS源码分析之NameNode（3）————RpcServer

摘要： NameNode支持核心即NameNodeRpcServer 实现ClientProtocol 支持客户端访问调用：阅读全文

posted @ 2017-05-23 16:37 Mr.Ming2 阅读(293) 评论(0) 推荐(0) 编辑

HADOOP源码分析之RPC（1）

摘要：源码位于Hadoop-common ipc包下 abstract class Server 构造Server Server的主要组成即Listener、均是单独的线程，底层利用Java NIO实现（Reactor设计模式）参考NIO系列文章：http://ifeve.com/overview/ 阅读全文

posted @ 2017-05-23 15:56 Mr.Ming2 阅读(304) 评论(0) 推荐(0) 编辑

公告