Hive升级至0.13

摘要： 一、升级MetaStore1.更新hive源码git checkout -brelease-0.13.0release-0.13.02.编译hiveexport MAVEN_OPTS=-Xmx512mmvn package -Phadoop-1,dist -Dmaven.test.skip=true... 阅读全文
posted @ 2014-05-11 20:34 李涛_buptsse 阅读(699) 评论(0) 推荐(0)

hadoop管理NameNode AND SecondaryNameNode

摘要： 光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其 实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。对于hadoop进程中 ，要配置好并正确的使用 snn，还是需要做一些工作的。hadoop的默认配置中让 snn进程默认运行在了 namenode 的那台机器上，但是这样的话，如果这台机器出错，宕机，对恢复HDFS文件系统是很大的灾难，更好的方式是：将 阅读全文
posted @ 2013-10-04 22:28 李涛_buptsse 阅读(142) 评论(0) 推荐(0)

eclipse 快捷键大全

摘要： eclipse 快捷键大全，eclipse查找类，文件，添加注释/* ---------------------------------------自理解----------------------------------------*/ctrl+shift+T //查找当前工程下的某个类 实时提示ctrl+shift+R//查找当前工程下的某个文件 实时提示ctrl+/添加注释/* ---------------------------------------自理解----------------------------------------*/再给出常用eclipse 快捷键Ctrl+1 阅读全文
posted @ 2013-10-04 17:50 李涛_buptsse 阅读(151) 评论(0) 推荐(0)

Hadoop 新 MapReduce 框架 Yarn 详解

摘要： Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapReduce 框架图：图 1.Hadoop 原 MapReduce 架构从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路：首先用户程序 (JobClient) 提交了一个 job，job 的信息会发送到 阅读全文
posted @ 2013-09-28 23:35 李涛_buptsse 阅读(155) 评论(0) 推荐(0)

Linux打包压缩

摘要： 在Windows下最常见的压缩文件就只有两种，一是,zip，另一个是.rar。可是Linux就不同了，它有.gz、.tar.gz、tgz、bz2、.Z、.tar等众多的压缩文件名，此外windows下的.zip和.rar也可以在Linux下使用，不过在Linux使用.zip和.rar的人就太少了。本文就来对这些常见的压缩文件进行一番小结，希望你下次遇到这些文件时不至于被搞晕icon_smile.gif 在具体总结各类压缩文件之前呢，首先要弄清两个概念：打包和压缩。打包是指将一大堆文件或目录什么的变成一个总的文件，压缩则是将一个大的文件通过一些压缩算法变成一个小文件。为什么要区分这两个概念呢？. 阅读全文
posted @ 2013-09-24 22:25 李涛_buptsse 阅读(174) 评论(0) 推荐(0)

hbase安装配置（整合到hadoop）

摘要： 1.快速单机安装：在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。1.1下载解压最新版本选择一个Apache 下载镜像：http://www.apache.org/dyn/closer.cgi/hbase/，下载HBase Releases. 点击stable目录，然后下载后缀为.tar.gz的文件; 例如hbase-0.90.4.tar.gz.$ tar xfz hbase-0.90.4.tar.gz$ cd hbase-0.90.4现在你已经可以启动Hbase了。但是你可能需要先编辑conf/hbas 阅读全文
posted @ 2013-07-07 16:12 李涛_buptsse 阅读(511) 评论(0) 推荐(0)

Hadoop集群配置（最全面总结）

摘要： 通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK ，ssh，HadoopJavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。ssh必须安装并且保证sshd一直运行，以便用Hadoop 脚本管理远端... 阅读全文
posted @ 2013-07-06 23:03 李涛_buptsse 阅读(124) 评论(0) 推荐(0)

HTTP协议详解

摘要： 引言HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的规范化工作正在进行之中，而且HTTP-NG(Next Generation of HTTP)的建议已经提出。HTTP协议的主要特点可概括如下：1.支持客户/服务器模式。2.简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单，使得HTTP服务器的程序规模小，因 阅读全文
posted @ 2013-06-24 19:27 李涛_buptsse 阅读(213) 评论(0) 推荐(0)

Web服务器性能/压力测试工具http_load、webbench、ab、Siege使用教程

摘要： 一、http_load程序非常小，解压后也不到100Khttp_load以并行复用的方式运行，用以测试web服务器的吞吐量与负载。但是它不同于大多数压力测试工具，它可以以一个单一的进程运行，一般不会把客户机搞死。还可以测试HTTPS类的网站请求。下载地址：http://soft.vpser.net/test/http_load/http_load-12mar2006.tar.gz安装很简单#tar zxvf http_load-12mar2006.tar.gz#cd http_load-12mar2006#make && make install命令格式：http_load - 阅读全文
posted @ 2013-06-11 15:56 李涛_buptsse 阅读(116) 评论(0) 推荐(0)

DNS解析过程及DNS TTL值

摘要： 经常说DNS劫持，也常常说域名解析不正确。那么DNS解析的过程究竟如何？在阅读《HTTP权威指南》缓存一章时，提到缓存文档过期采用“生存时间技术”与DNS类似。所以抽空学习了解了一下DNS的解析过程，以及DNS TTL值的概念！DNS相关知识根域名服务器(root-servers.org)是互联网域名解析系统(DNS)中最高级别的域名服务器，全球仅有13台根服务器。部分根域名服务器在全球设有多个镜像服务器任何域名解析都要经过这13台根服务器获得顶级索引，并不是说您访问 .com 会经过这些服务器，访问 .cn 就不经过这些服务器每一个顶级域，不管是gTLD(通用顶级域)，还是ccTLD(国别顶 阅读全文
posted @ 2013-06-11 15:26 李涛_buptsse 阅读(2732) 评论(0) 推荐(0)
下一页