摘要：
CentOS7命令https://www.cnblogs.com/cerofang/p/11114934.htmlhadoop常用操作命令https://www.cnblogs.com/cerofang/p/10460494.htmlday3_day6https://www.cnblogs.com/ 阅读全文
posted @ 2019-06-28 18:20
cerofang
阅读(504)
评论(0)
推荐(0)
摘要：
一、mysql中的编码 mysql> show variables like 'collation_%'; mysql> show variables like 'character_set_%'; 缺省是latin1编码，会导致中文乱码。修改库的编码：mysql> alter database d 阅读全文
posted @ 2019-06-28 18:07
cerofang
阅读(325)
评论(0)
推荐(0)
摘要：
/** 将mysql的表导入 hdfs **/bin/sqoop import \--connect jdbc:mysql://hdp-04:3306/userdb \--username root \--password root \--target-dir \/sqooptest \--fiel 阅读全文
posted @ 2019-06-28 18:06
cerofang
阅读(128)
评论(0)
推荐(0)
摘要：
测试数据库连接bin/sqoop list-databases --connect jdbc:mysql://hdp20-04:3306/app --username root --password root sqoop create-hive-table --connect jdbc:mysql: 阅读全文
posted @ 2019-06-28 18:01
cerofang
阅读(939)
评论(0)
推荐(0)
摘要：
hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hado 阅读全文
posted @ 2019-06-28 17:55
cerofang
阅读(603)
评论(0)
推荐(0)
摘要：
通过案例学习MAPREDUCE教程 1. wordcount示例开发 1.1. wordcount程序整体运行流程示意图 map阶段： 将每一行文本数据变成<单词,1>这样的kv数据 reduce阶段：将相同单词的一组kv数据进行聚合：累加所有的v 注意点：mapreduce程序中， map阶段的进 阅读全文
posted @ 2019-06-28 17:53
cerofang
阅读(226)
评论(0)
推荐(0)
摘要：
1. zookeeper快速上手 1.1. zookeeper的基本功能和应用场景 1.2. zookeeper的整体运行机制 1.3. zookeeper的数据存储机制 1.3.1. 数据存储形式 zookeeper中对用户的数据采用kv形式存储 只是zk有点特别： key：是以路径的形式表示的， 阅读全文
posted @ 2019-06-28 17:51
cerofang
阅读(534)
评论(0)
推荐(0)
摘要：
启动HIV 启动hiv的前提条件是HDFS和YARN都可以正常在启动中 /apps/apache-hive-1.2.1-bin/bin/hive 查询HIV的sql语句 select sex,count(1) from t_bigdata group by male ; hive的脚本化运行使用方式 阅读全文
posted @ 2019-06-28 14:02
cerofang
阅读(460)
评论(0)
推荐(0)
浙公网安备 33010602011771号