05 2017 档案

【JVM命令系列】jstack
摘要：jstack用于打印出给定的java进程ID或core file或远程调试服务的Java堆栈信息，如果是在64位机器上，需要指定选项"-J-d64"，Windows的jstack使用方式只支持以下的这种方式：jstack [-l] pid 如果java程序崩溃生成core文件，jstack工具可以用 阅读全文
posted @ 2017-05-31 17:45 Mr.Ming2 阅读(318) 评论(0) 推荐(0)
【JVM命令系列】javap
摘要：命令基本概述 javap是JDK自带的反汇编器，可以查看java编译器为我们生成的字节码。通过它，可以对照源代码和字节码，从而了解很多编译器内部的工作。可以在命令行窗口先用javap -help看下javap工具支持的选项：C:\>javap -help 参数说明 平时一般用-c选项用得比较多，该命 阅读全文
posted @ 2017-05-31 16:24 Mr.Ming2 阅读(414) 评论(0) 推荐(0)
【JVM命令系列】jmap
摘要：命令基本概述 Jmap是一个可以输出所有内存中对象的工具，甚至可以将VM 中的heap，以二进制输出成文本。打印出某个java进程（使用pid）内存内的，所有‘对象’的情况（如：产生那些对象，及其数量）。 使用方法 jmap -histo pid。如果使用SHELL ,可采用jmap -histo  阅读全文
posted @ 2017-05-31 15:40 Mr.Ming2 阅读(653) 评论(0) 推荐(0)
Hadoop安全（2）——————UserGroupInformation
摘要：UserGroupInformation保存hadoop用户及组信息 此类包装JAAS Subject，并提供确定用户的用户名和组的方法。它支持Windows，Unix和Kerberos登录模块。 阅读全文
posted @ 2017-05-26 17:56 Mr.Ming2 阅读(1181) 评论(0) 推荐(0)
Hadoop安全（1）——————美团Hadoop安全实践
摘要：http://tech.meituan.com/hadoop-security-practice.html 前言 在2014年初，我们将线上使用的 Hadoop 1.0 集群切换到 Hadoop 2.2.0 稳定版， 与此同时部署了 Hadoop 的安全认证。本文主要介绍在 Hadoop 2.2.0 阅读全文
posted @ 2017-05-26 15:43 Mr.Ming2 阅读(3521) 评论(0) 推荐(0)
HDFS概述（4）————HDFS权限
摘要：概述 Hadoop分布式文件系统（HDFS）的权限模型与POSIX模型的文件和目录权限模型一致。每个文件和目录与所有者和组相关联。该文件或目录将权限划分为所有者的权限，作为该组成员的其他用户的权限、以及所有其他用户的权限。对于文件，需要r权限才能读取文件，并且需要w权限才能写入或附加到文件中。对于目 阅读全文
posted @ 2017-05-26 15:41 Mr.Ming2 阅读(2021) 评论(0) 推荐(0)
HDFS概述（3）————HDFS Federation
摘要：本指南概述了HDFS Federation功能以及如何配置和管理联合集群。 当前HDFS背景 HDFS主要有两层： 1.Namespace （1）包含目录，文件和块。 （2）它支持所有命名空间相关的文件系统操作，如创建，删除，修改和列出文件和目录。 2.Block Storage，分为两部分： （1 阅读全文
posted @ 2017-05-26 14:50 Mr.Ming2 阅读(842) 评论(0) 推荐(0)
【转】NoClassDefFoundError和ClassNotFoundException
摘要：调试Hadoop源码时，一运行就报这个错误，后来发现是maven配置时，scope配置的问题， MAVEN Scope使用 相关链接：http://acooly.iteye.com/blog/1788890 原文地址：http://blog.csdn.net/jamesjxin/article/de 阅读全文
posted @ 2017-05-26 12:34 Mr.Ming2 阅读(492) 评论(0) 推荐(0)
Integer的自动拆箱
摘要：Integer a = 数字；来赋值的时候Integer这个类是调用的public static Integer valueOf(int i)这个方法。 我们来看看ValueOf(int i)的源码，可以发现他对传入参数i做了一个if判断。在-128<=i<=127的时候是利用已有的对象缓存Inte 阅读全文
posted @ 2017-05-25 09:32 Mr.Ming2 阅读(1022) 评论(0) 推荐(0)
HDFS概述（2）————Block块大小设置
摘要：以下内容转自：http://blog.csdn.net/samhacker/article/details/23089157?utm_source=tuicool&utm_medium=referral http://snglw.blog.51cto.com/5832405/1643587 小文件B 阅读全文
posted @ 2017-05-24 21:09 Mr.Ming2 阅读(21070) 评论(0) 推荐(1)
sqoop使用的问题
摘要：找不到表 17/05/02 18:15:47 ERROR tool.ImportTool: Imported Failed: There is no column found in the target table tysecdb.secsight_config_count. Please ensu 阅读全文
posted @ 2017-05-24 15:41 Mr.Ming2 阅读(864) 评论(0) 推荐(0)
【转】String字符串相加的问题
摘要：String字符串相加的问题 前几天同事跟我说我之前写的代码中在操作字符串时候，使用字符串相加的方式而不是使用StringBuffer或者StringBuilder导致内存开销很大。这个问题一直在困扰我，因为在《Think in java》一书中，作者说使用“+”拼接字符串并不比StringBuff 阅读全文
posted @ 2017-05-24 15:40 Mr.Ming2 阅读(1044) 评论(0) 推荐(0)
HDFS概述（1）————HDFS架构
摘要：概述 Hadoop分布式文件系统（HDFS）是一种分布式文件系统，用于在普通商用硬件上运行。它与现有的分布式文件系统有许多相似之处。然而，与其他分布式文件系统的区别很大。HDFS具有高度的容错能力，旨在部署在低成本的硬件上。HDFS提供对应用程序数据的高吞吐量访问，适用于具有大数据集的应用程序。HD 阅读全文
posted @ 2017-05-23 16:56 Mr.Ming2 阅读(3646) 评论(0) 推荐(0)
HDFS源码分析之NameNode（3）————RpcServer
摘要：NameNode支持核心即NameNodeRpcServer 实现ClientProtocol 支持客户端访问调用： 阅读全文
posted @ 2017-05-23 16:37 Mr.Ming2 阅读(310) 评论(0) 推荐(0)
HADOOP源码分析之RPC（1）
摘要：源码位于Hadoop-common ipc包下 abstract class Server 构造Server Server的主要组成即Listener、 均是单独的线程，底层利用Java NIO实现（Reactor设计模式） 参考NIO系列文章：http://ifeve.com/overview/ 阅读全文
posted @ 2017-05-23 15:56 Mr.Ming2 阅读(326) 评论(0) 推荐(0)
HDFS源码分析之NameNode（2）————Format
摘要：在Hadoop的HDFS部署好了之后并不能马上使用，而是先要对配置的文件系统进行格式化。在这里要注意两个概念，一个是文件系统，此时的文件系统在物理上还不存在，或许是网络磁盘来描述会更加合适；二就是格式化，此处的格式化并不是指传统意义上的本地磁盘格式化，而是一些清除与准备工作。本文接下来将主要讨论Na 阅读全文
posted @ 2017-05-23 11:31 Mr.Ming2 阅读(900) 评论(0) 推荐(0)
HDFS源码分析之NameNode（1）————启动过程
摘要：源码：2.8.0 入口类：org.apache.hadoop.hdfs.server.namenode.NameNode main方法会调用createNameNode 创建 NameNode 实例，如果是 FORMAT 戒 FINALIZE,调用对应的方法后退出,如果是其他的参数,将创建NameN 阅读全文
posted @ 2017-05-22 16:35 Mr.Ming2 阅读(1343) 评论(0) 推荐(0)
【转】Keberos认证原理
摘要：前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候，讲了半天也别把那位老兄讲明白，还差点把自己给绕进去。后来想想原因有以下两点：对于一个没有完全不了解Kerberos的人来说，Kerberos的整个Authentication过程确实不好理解——一会儿以这 阅读全文
posted @ 2017-05-17 10:20 Mr.Ming2 阅读(542) 评论(0) 推荐(0)
CDH入门
摘要：cloudera(CDH)官网介绍：安装包、离线包该如何下载、官方文档等介绍http://www.aboutyun.com/thread-8908-1-1.html(出处: about云开发) 进入CDH官网：主页：http://www.cloudera.com/content/cloudera/e 阅读全文
posted @ 2017-05-16 09:32 Mr.Ming2 阅读(596) 评论(0) 推荐(0)
【运维】CPU负载
摘要：最近对我的本本（4核8线程）用top命令看系统状况出现了CPU利用率超过200%的情况，非常诧异，查了下相关资料，把这个问题弄清楚了。首先来分析下CPU Load load average: 0.09, 0.05, 0.01 分别是1分钟、5分钟、15分钟的平均Load。Load这个东西怎么理解呢， 阅读全文
posted @ 2017-05-11 10:36 Mr.Ming2 阅读(628) 评论(0) 推荐(0)