随笔分类 - 大数据学习

之前曾经学习过大数据，但都很浅，就了解了一下大概结构，现在由于工作原因，后面需要专业的运维，决定开始系统学习测试大数据。记录我的学习路线和进度，立此为证！

摘要：今天我司线上kafka消息代理出现错误日志，异常rebalance，而且平均间隔2到3分钟就会rebalance一次，分析日志发现比较严重。错误日志如下 08-09 11:01:11 131 pool-7-thread-3 ERROR [] - commit failed org.apache.ka 阅读全文

posted @ 2018-12-05 10:30 战神V祝福阅读(7873) 评论(0) 推荐(1)

mysql 通过sqoop导入hive

该文被密码保护。

posted @ 2018-09-04 10:53 战神V祝福阅读(0) 评论(0) 推荐(0)

hbase 性能调

摘要：一. HBase的通用优化 1 高可用在 HBase 中 Hmaster 负责监控 RegionServer 的生命周期，均衡 RegionServer 的负载，如果 Hmaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对阅读全文

posted @ 2018-08-30 10:30 战神V祝福阅读(178) 评论(0) 推荐(0)

mysql 通过sqoop导入hive

摘要：sudo -u hdfs sqoop import --connect jdbc:mysql://192.168.33.93:3306/leochentest --username root --password chenliangliang --table aaa --columns "id,na 阅读全文

posted @ 2018-06-26 16:13 战神V祝福阅读(108) 评论(0) 推荐(0)

大数据原理架构（学习整理）

摘要：前面介绍的废话省略，记录直接的一些知识，方便了解。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。还有一个Hive，很重要！这是一个传统的SQL到MapReduce的映射器，面向传统的数据库工程师。但是阅读全文

posted @ 2017-08-14 18:38 战神V祝福阅读(1447) 评论(0) 推荐(0)