ilinux_one

摘要： 1.job的本质是什么？2.任务的本质是什么？3.文件系统的Namespace由谁来管理，Namespace的作用是什么？4.Namespace 镜像文件(Namespace image)和操作日志文件(edit log)文件的作用是什么？5.Namenode记录着每个文件中各个块所在的数据节点的位... 阅读全文

摘要： 问题导读：1.如果获取hadoop srcmaven包？2.编译hadoop需要装哪些软件？3.如何编译hadoop2.4?扩展：编译hadoop为何安装这些软件？一、首先下载hadoop源码包下载的方式还是比较多的1.svn的方式svn下载首先需要安装SVN，如果想尝试使用svn，可以参考源码管理... 阅读全文

摘要： 通常，如果我们想更改主机地址为静态地址或者更改主机名，需要修改的几个文件包括： /etc/sysconfig/network Centos设置主机名和网络配置 /etc/sysconfig/network-scripts/ifcfg-eth0针对特定的网卡进行设置 /etc/resolv.conf设... 阅读全文

摘要： /etc/resolv.conf该文件是DNS域名解析的配置文件，它的格式很简单，每行以一个关键字开头，后接配置参数。resolv.conf的关键字主要有四个，分别是：nameserver #定义DNS服务器的IP地址domain #定义本地域名search #定义域名的搜索列表sortlist #... 阅读全文

摘要： 1. 前言Hadoop-2.4.0的源码目录下有个BUILDING.txt文件，它介绍了如何在Linux和Windows下编译源代码，本文基本是遵照BUILDING.txt指示来操作的，这里再做一下简单的提炼。第一次编译要求能够访问互联网，Hadoop的编译依赖非常多的东西，一定要保证机器可访问互联... 阅读全文

摘要： 一、NFS服务简介 NFS 是Network File System的缩写，即网络文件系统。一种使用于分散式文件系统的协定，由Sun公司开发，于1984年向外公布。功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据，让应用程序在客户端通过网络访问位于服务器磁盘中的数据，是在类Unix... 阅读全文

摘要： 用于测试，我用4台虚拟机搭建成了hadoop结构我用了两个台式机。一个xp系统，一个win7系统。每台电脑装两个虚拟机，要不然内存就满了。1、安装虚拟机环境 Vmware，收费产品，占内存较大。 或 Oracle的VirtualBox，开源产品，占内存较小，但安装ubuntu过程中，重启会出错... 阅读全文

摘要： 首先需要知道什么是IO： IO是输入输出接口阅读本文章可以带着下面问题1.集群的瓶颈为什么IO？2.你对IO了解多少？这里面只说个人观点：当我们面临集群作战的时候，我们所希望的是即读即得。可是面对大数据，读取数据需要经过IO，这里可以把IO理解为水的管道。管道越大越强，我们对于T级的数据读取就越快。... 阅读全文

摘要： 阅读本文思考：1.对磁盘IO了解多少2.为什么是磁盘IO是瓶颈，有没有自己的答案想了解磁盘io可以查看此帖：集群瓶颈：磁盘IO必读（磁盘IO：磁盘输出输出）集群的瓶颈提出多种看法，其中网络和磁盘io的争议比较大。这里需要说明的是网络是一种稀缺资源，而不是瓶颈。对于磁盘IO：当我们面临集群作战的时候，... 阅读全文

摘要： 最近将公司的在线业务迁移到Storm集群上，上线后遇到低峰期CPU耗费严重的情况。在解决问题的过程中深入了解了storm的内部实现原理，并且解决了一个storm0.9-0.10版本一直存在的严重bug，目前代码已经合并到了storm新版本中，在这篇文章里会介绍这个问题出现的场景、分析思路、解决的方式... 阅读全文