2016年11月10日
Sqoop_mysql,hive,hdfs导入导出操作
摘要： 前言: 搭建环境,这里使用cdh版hadoop+hive+sqoop+mysql 一、准备数据 二、使用sqoop将mysql中的这张表导入到hdfs上 三、使用sqoop将mysql中的这张表导入到hive 五、从hdfs或hive导出数据到mysql表 六、sqoop --option-file 阅读全文
posted @ 2016-11-10 16:22 eRrsr 阅读(1069) 评论(0) 推荐(0)
Sqoop_ 简单介绍
摘要： 一、基本作用 二、简单配置 三、简单使用 阅读全文
posted @ 2016-11-10 15:06 eRrsr 阅读(664) 评论(0) 推荐(0)
2016年11月9日
Sqoop_ 从 hive 导到mysql常遇九问题总结(转)
摘要： 以前以为版本不同，遇到的问题就不同，后来发现，无论是新版本，还是老版本，遇到的问题大部分都是相同的。下面解决问题的方法仅供借鉴 1.拒绝连接的错误表现是什么？2.表不存在该如何解决？3.null字段填充符该如何指定？环境hive 版本hive-0.11.0sqoop 版本 sqoop-1.4.4.b 阅读全文
posted @ 2016-11-09 12:13 eRrsr 阅读(866) 评论(0) 推荐(0)
2016年11月8日
MySql_设置编码
摘要： 1、查看mysql编码(默认latin1) 2、临时修改编码(重启后失效) 3、永久设置编码(修改配置文件,重启Mysqld服务) 结果: 4、创建MySql数据库和表并设置编码 阅读全文
posted @ 2016-11-08 19:22 eRrsr 阅读(9867) 评论(0) 推荐(0)
2016年11月3日
Linux_MySql_yum_安装（非MySql8）
摘要： 1、卸载原始mysql-lib sudo rpm -e --nodeps mysql-libs-xx 2、yum安装mysql-server sudo yum -y install mysql -server ps：注意联网状态，和yum源/etc/yum.repos.d/xxx 更新软件 sudo 阅读全文
posted @ 2016-11-03 09:23 eRrsr 阅读(305) 评论(0) 推荐(0)
2016年10月28日
Hive_DDL与DML
摘要： DDL(数据定义语言) DML(数据控制语言) 1. 关于数据库 2. 关于表 3. 关于方法 4. 更换log日志配置 5. 配置客户端Cli显示数据库名及表名 6. hive的基本参数用法 7. hive交互式命令操作 8. 创建表的三种方式 9. 表的类型 阅读全文
posted @ 2016-10-28 19:09 eRrsr 阅读(301) 评论(0) 推荐(0)
Hive安装部署与测试
摘要： 一、hive是什么东东 1. 个人理解 hive就是一个基于hdfs运行于MapReduce上的一个java项目, 这个项目封装了jdbc,根据hdfs编写了处理数据库的DDL/DML,自带的 二进制包内嵌Derby数据库,且默认使用Derby,简而言之,hive就是一个 帮助我们处理/分析数据的工 阅读全文
posted @ 2016-10-28 18:59 eRrsr 阅读(249) 评论(0) 推荐(0)
Hadoop.2.x_WebUV示例
摘要： 一、网站基本指标(即针对于网站用户行为而产生的日志中进行统计分析) 二、UV统计示例(也就是每天每个省份有多少人访问了该网站) 三、UV统计代码示例 阅读全文
posted @ 2016-10-28 18:48 eRrsr 阅读(401) 评论(0) 推荐(0)
Hadoop.2.x_高级应用_二次排序及MapReduce端join
摘要： 一、对于二次排序案例部分理解 二、二次排序示例代码 三、MapReduce join简单理解 四、MapReduce join代码示例 阅读全文
posted @ 2016-10-28 18:42 eRrsr 阅读(613) 评论(0) 推荐(0)
2016年10月22日
Hadoop.2.x_HA部署
摘要： 一、概念与HA思路 二、部署与搭建测试 1. 目录规划(hdfs存储位置,JournalNode存储位置,等) 2. 上传并解压Hadoop 3. 配置自定义(这仅仅配置HDFS NameNode HA) 4. 分发配置文件目录(注意刚才新建的data/dfs/jn,其他节点也要保持一致) 5. 分 阅读全文
posted @ 2016-10-22 21:30 eRrsr 阅读(418) 评论(0) 推荐(0)