随笔分类 -  hadoop笔记

摘要：#####----检查Hadoop集群上的磁盘使用量----######!/bin/sh#检查Hadoop集群上的磁盘使用量function diskState(){ COUNT=1 while [ ${COUNT} -le ${NUM} ] do echo "********检查Hadoop... 阅读全文

摘要：#!/bin/sh#查看hadoop的运行状态function hadoopState(){ COUNT=1 while [ ${COUNT} -le ${NUM} ] do echo "**********查看hadoop${COUNT}上hadoop的运行状态********" #连接远程主... 阅读全文

摘要：#!/bin/sh#echo "waring"#read NAME #等待用户输入并把输入的值付给NAMENAME=$1 #将脚本第一个参数赋给NAME#引用变量时加上"{}",是个好习惯,利于shell辨别变量边界if [ -z ${NAME} ] ; then #执行脚本没有输入参数,默认关闭h... 阅读全文

摘要：#!/bin/sh#echo "waring"#read NAME #等待用户输入并把输入的值付给NAMENAME=$1 #将脚本第一个参数赋给NAME#引用变量时加上"{}",是个好习惯,利于shell辨别变量边界if [ -z ${NAME} ] ;then #默认如果为空，hadoop s... 阅读全文

摘要：Hadoop学习之HBase基础知识、操作和原理1. HBase 简介HBase(hadoop DataBase)是一个高可靠，高性能面向列，可伸缩的分布式存储系统，利用HBase技术可在廉价PC server 上搭建大规模结构化存储集群。HBase 利用HDFS作为其文件系统，利用Hadoop M... 阅读全文

摘要：HBase的集群环境搭建该集成环境是在伪分布搭建的基础上搭建1.修改原来的伪分布hadoop1上的hbase的配置文件#cd /usr/local/hbase/conf/待修改的文件：hbase-env.sh、hbase-site.xml、regionservers#vim hbase-env.s... 阅读全文

摘要：HBase的伪分布式安装1.HBase单台机器上的安装a)使用winscp将win下的HBase软件(hbase-0.94.7-security.tar.gz)包复制到linux下的/usr/local/下b)解压文件hbase-0.94.7-security.tar.gz#tar -xzvf hb... 阅读全文

摘要：ZooKeeper集群安装配置和理论知识1.简介：zookeeper是Google的Chubby的一个开源实现，是hadoop的分布式协调服务2.Zookeeper(简称zk)包含一个简单的原语集，分布式应用程序可以给予它实现同步服务，配置维护和命名服务等3.Zk的设计目标a)简单化：通过共享体系的... 阅读全文

摘要：Hadoop学习第四天之hadoop命令操作（下）1.Hadoopdfsadmin #启动dfs admin客户端-report #报告当前集群的节点信息-safemode enter #进入安全模式-safemode leave #离开安全模式-safemode get #获取安全模式状态-saf... 阅读全文

摘要：Hadoop命令操作格式：hadoop fs可以在/etc/profile 中添加alias hf=’hadoopfs’ #简化每次命令的书写-ls 表示对hdfs下一级目录的查看-lsr 表示对hdfs目录的递归查看-mkdir 创建目录-put 从linux上传文件到hdfs （同-copy... 阅读全文