java/Java Pyton 大数据 Hadoop Spark

12 2018 档案

hadoop1.0 和 Hadoop 2.0 的区别
摘要：Hadoop 1.0 到 Hadoop 2.0 经历了什么，我们又能从中看出什么呢？ 阅读全文
posted @ 2018-12-25 21:05 zzzzMing 阅读(11165) 评论(2) 推荐(4)
一个故事告诉你什么才是好的程序员
摘要：什么才是真正的好的程序员 阅读全文
posted @ 2018-12-22 19:24 zzzzMing 阅读(8432) 评论(36) 推荐(33)
从 RAID 到 Hadoop Hdfs 『大数据存储的进化史』
摘要：我们都知道现在大数据存储用的基本都是 Hdfs ，但在 Hadoop 诞生之前，我们都是如何存储大量数据的呢？这次我们不聊技术架构什么的，而是从技术演化的角度来看看 Hadoop Hdfs。 阅读全文
posted @ 2018-12-18 21:37 zzzzMing 阅读(2766) 评论(2) 推荐(4)
Spark读Hbase优化 --手动划分region提高并行数
摘要：一. Hbase的region 我们先简单介绍下Hbase的架构和Hbase的region： 从物理集群的角度看，Hbase集群中，由一个Hmaster管理多个HRegionServer，其中每个HRegionServer都对应一台物理机器，一台HRegionServer服务器上又可以有多个Hreg 阅读全文
posted @ 2018-12-15 11:31 zzzzMing 阅读(1917) 评论(0) 推荐(0)
Mysql增量写入Hdfs（二） --Storm+hdfs的流式处理
摘要：一. 概述 上一篇我们介绍了如何将数据从mysql抛到kafka，这次我们就专注于利用storm将数据写入到hdfs的过程，由于storm写入hdfs的可定制东西有些多，我们先不从kafka读取，而先自己定义一个Spout数据充当数据源，下章再进行整合。这里默认你是拥有一定的storm知识的基础，起 阅读全文
posted @ 2018-12-12 21:05 zzzzMing 阅读(1457) 评论(0) 推荐(3)
Mysql增量写入Hdfs（一） --将Mysql数据写入Kafka Topic
摘要：如何将 Mysql 数据写入 Kafka 呢？我们可以使用一个小工具。。。 阅读全文
posted @ 2018-12-08 21:09 zzzzMing 阅读(4428) 评论(0) 推荐(1)
Spark SQL，如何将 DataFrame 转为 json 格式
摘要：今天主要介绍一下如何将 Spark dataframe 的数据转成 json 数据。用到的是 scala 提供的 json 处理的 api。 用过 Spark SQL 应该知道，Spark dataframe 本身有提供一个 api 可以供我们将数据转成一个 JsonArray，我们可以在 spar 阅读全文
posted @ 2018-12-06 20:05 zzzzMing 阅读(11337) 评论(0) 推荐(0)