2018年7月2日
sqoop迁移
摘要： 3.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库 3.2 工作机制 将导入或导出命令 阅读全文
posted @ 2018-07-02 00:35 会飞的猪仔 阅读(304) 评论(0) 推荐(0)
Hive详解
摘要： 1. Hive基本概念 1.1 Hive简介 1.1.1 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 1.1.2 为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapRe 阅读全文
posted @ 2018-07-02 00:32 会飞的猪仔 阅读(54491) 评论(0) 推荐(3)
2018年6月29日
MapReduce中combine、partition、shuffle的作用是什么
摘要： 概括：combine和partition都是函数。中间的步骤应该仅仅有shuffle！1.combinecombine分为map端和reduce端，作用是把同一个key的键值对合并在一起，能够自己定义的。combine函数把一个map函数产生的<key,value>对（多个key,value）合并成 阅读全文
posted @ 2018-06-29 22:50 会飞的猪仔 阅读(2609) 评论(0) 推荐(0)
hadoop中map和reduce的数量设置问题
摘要： 转载http://my.oschina.net/Chanthon/blog/150500 map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行 阅读全文
posted @ 2018-06-29 22:35 会飞的猪仔 阅读(364) 评论(0) 推荐(0)
MapReduce工作原理（很详细噢）
摘要： 1.MapReduce作业运行流程2.Map、Reduce任务中Shuffle和排序的过程 一. MapReduce框架组成 MapReduce主要包括JobClient、JobTracker、TaskTracker、HDFS四个独立的部分。 1、JobClient 配置参数Configuratio 阅读全文
posted @ 2018-06-29 21:48 会飞的猪仔 阅读(17149) 评论(0) 推荐(0)
什么是ssh及其原理
摘要： SSH（Secure Shell）是一种提供网络安全的传输协议。它保证了在网络上的数据并非明文传输，目前使用SSH登录远程终端已经是通用方式。 SSH登录时有两种验证方法： 第一种：基于密码的安全验证，它要求用户在每次登录服务器时输入密码，服务器端验证通过后即登录成功。 第二种：基于密钥的安全验证， 阅读全文
posted @ 2018-06-29 18:14 会飞的猪仔 阅读(2474) 评论(0) 推荐(1)
hadoop2.2.0伪分布式搭建
摘要： 1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok 回到window 阅读全文
posted @ 2018-06-29 17:49 会飞的猪仔 阅读(119) 评论(0) 推荐(0)
2018年6月28日
HBase详解
摘要： 一、 简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007.10 Firs 阅读全文
posted @ 2018-06-28 23:46 会飞的猪仔 阅读(330) 评论(0) 推荐(0)
Hbase常用命令
摘要： 进入hbase命令行./hbase shell 显示hbase中的表list 创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'} 向user表中插 阅读全文
posted @ 2018-06-28 19:51 会飞的猪仔 阅读(156) 评论(0) 推荐(0)
hbase读取数据原理
摘要： 假如client想要从hbase的“user”表中去取“333”的数据， 第一步。client从zookeeper中得到.ROOT的位置（在第二个HRegionserver中），然后去第二个HRegionserver中找.ROOT文件，然后从.ROOT中找到.META的位置（在第一个和第三个HReg 阅读全文
posted @ 2018-06-28 19:32 会飞的猪仔 阅读(179) 评论(0) 推荐(0)