cerofang - 博客园

2019年7月1日

摘要： MYSQL高可用集群架构-MHA架构简介： MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可阅读全文

posted @ 2019-07-01 14:06 cerofang 阅读(427) 评论(0) 推荐(0)

Mysql Cluster集群实现高可用

摘要： MySQL集群搭建实现高可用本节所讲内容： l MySQL 集群概述 l 实战：MySQL 集群搭建 1 MySQL集群概述和安装环境 MySQL Cluster是MySQL适合于分布式计算环境的高实用、高冗余版本。Cluster的汉语是“集群”的意思。它采用了NDB Cluster 存储引擎阅读全文

posted @ 2019-07-01 13:56 cerofang 阅读(823) 评论(0) 推荐(0)

2019年6月29日

spark-08-SparkStraming简介与kafka0.8集群安装

摘要： kafka0.8.2的安装 #################################################### 实时计算相关技术 Strom / JStrom Spark Streming Flink 实时性高有延迟实时性高吞吐量较低吞吐量高吞吐量高只能实时计算离阅读全文

posted @ 2019-06-29 11:28 cerofang 阅读(363) 评论(0) 推荐(0)

spark整合hive

摘要： 1.安装MySQL（hive的元数据库）并创建一个普通用户，并且授权 CREATE USER 'xiaoniu'@'%' IDENTIFIED BY '123568'; GRANT ALL PRIVILEGES ON hivedb.* TO 'xiaoniu'@'%' IDENTIFIED BY ' 阅读全文

posted @ 2019-06-29 11:17 cerofang 阅读(1001) 评论(0) 推荐(0)

2019年6月28日

大数据目录结构

摘要： CentOS7命令https://www.cnblogs.com/cerofang/p/11114934.htmlhadoop常用操作命令https://www.cnblogs.com/cerofang/p/10460494.htmlday3_day6https://www.cnblogs.com/ 阅读全文

posted @ 2019-06-28 18:20 cerofang 阅读(514) 评论(0) 推荐(0)

mysql中的编码

摘要：一、mysql中的编码 mysql> show variables like 'collation_%'; mysql> show variables like 'character_set_%'; 缺省是latin1编码，会导致中文乱码。修改库的编码：mysql> alter database d 阅读全文

posted @ 2019-06-28 18:07 cerofang 阅读(340) 评论(0) 推荐(0)

sqoop各类命令示范

摘要： /** 将mysql的表导入 hdfs **/bin/sqoop import \--connect jdbc:mysql://hdp-04:3306/userdb \--username root \--password root \--target-dir \/sqooptest \--fiel 阅读全文

posted @ 2019-06-28 18:06 cerofang 阅读(138) 评论(0) 推荐(0)

sqoop常用命令

摘要：测试数据库连接bin/sqoop list-databases --connect jdbc:mysql://hdp20-04:3306/app --username root --password root sqoop create-hive-table --connect jdbc:mysql: 阅读全文

posted @ 2019-06-28 18:01 cerofang 阅读(953) 评论(0) 推荐(0)

HA集群搭建

摘要： hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hado 阅读全文

posted @ 2019-06-28 17:55 cerofang 阅读(616) 评论(0) 推荐(0)

day3_day6

摘要：通过案例学习MAPREDUCE教程 1. wordcount示例开发 1.1. wordcount程序整体运行流程示意图 map阶段：将每一行文本数据变成<单词,1>这样的kv数据 reduce阶段：将相同单词的一组kv数据进行聚合：累加所有的v 注意点：mapreduce程序中， map阶段的进阅读全文

posted @ 2019-06-28 17:53 cerofang 阅读(240) 评论(0) 推荐(0)

公告