摘要： 转载请标明出处： http://blog.csdn.net/zwto1/article/details/50733753； 介绍本篇主要会涉及以下内容:学会编译hadoop2.x源码编译hadoop源码为什么要编译由于hadoop2.x 只支持Linux 32位，针对Linux 6... 阅读全文

摘要： 自己的微信公众平台开发差不多了，欢迎关注试用哦，我会不定期在那里分享技术文章！ 主要功能：输入t+中文或者英文返回对应的英中翻译输入【m】随机来首音乐听，建议在wifi下听输入【ly+你的留言内容】,来给我留言【博客地址】 http://blog.csdn.net/zwto1【查阅书籍信息】输... 阅读全文

摘要： 简介 HBase –Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBse技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据， 阅读全文

摘要： 简介 SQOOP是用于对数据进行导入导出的。 (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中 安装sqoop 1.解压sqoop tar -zxvf sqoop-1.4.3 阅读全文

摘要： Pig pig 是基于hadoop的一个数据处理框架. MapReduce是使用java开发的。Pig有一套自己的数据处理语言。Pig的数据处理过程要转化为MR 来运行。 Pig的数据处理语言是数据流方式，类似于初中的数学题，需要一步一步解，最终得到结果。 Pig基本数据类型：int、long、fl 阅读全文

摘要： Flume知识点： Event 是一行一行的数据 1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。 2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。 3.agent里面包含3个核心组件：source、channel、sink。 3 阅读全文

摘要： 转载请标明出处： http://blog.csdn.net/zwto1/article/details/45647643； 本文出自:【zhang_way的博客专栏】工具：虚拟机virtualbox. JDK hadoop1.1.2 Hadoop集群环境的搭建... 阅读全文

摘要： 以下都是MarkDown常用的语法以及效果图：### 生成目录 [TOC]### 标题标题的标签采用#加文本的形式，几个星就代表几级标题 在#后加空格# 一级标题## 二级标题 ...### 列表分有序列表和无序列表。有序列表：方式是已数字开头+.+文字的方式1. 12. 23. 3无序列表：方式是... 阅读全文

摘要： 前言Linux系统下的多线程遵循POSIX线程接口，称为pthread。编写Linux下的多线程程序，需要使用头文件pthread.h，连接时需要使用libpthread.a。Linux下pthread的实现是通过系统调用clone（）来实现的。clone（）是Linux所特有的系统调用，它的使用方... 阅读全文

摘要： 九、使用case 分支 语法格式： case 变量值 in 模式1） 命令序列1 ;; 模式2） 命令序列2 ;; *） 默认命令序列 esac 例子： case 控制参数 in start) 启动XX服务 ;; #两个分号不能省略 stop) 停止XX服务 ;; *) 显示服务脚本的用法 esac 阅读全文