java/Java Pyton 大数据 Hadoop Spark

摘要:分布式系统一致性难吗?很难,难的哪里?最后又该如何解决。 阅读全文
posted @ 2020-02-28 19:37 zzzzMing 阅读(596) 评论(0) 推荐(1) 编辑
摘要:前情提要 "Scala函数式编程指南(一) 函数式思想介绍" "scala函数式编程(二) scala基础语法介绍" "Scala函数式编程(三) scala集合和函数" "Scala函数式编程(四)函数式的数据结构 上" "Scala函数式编程(四)函数式的数据结构 下" 1.面向对象的错误处理 阅读全文
posted @ 2020-02-20 21:01 zzzzMing 阅读(300) 评论(0) 推荐(0) 编辑
摘要:前两次讲了 Spark RPC 的基础内容以及源码时序分析。这次我们来看看Spark 如何用 RPC 实现心跳。 阅读全文
posted @ 2019-01-17 20:40 zzzzMing 阅读(802) 评论(0) 推荐(2) 编辑
摘要:前阵子工作上需要用到Calcite做一些事情,然后发现这个东西也是蛮有意思的,就花了些时间研究了一下。本篇主要围绕SQL 优化这块来介绍Calcite,后面会介绍Hive如何Calcite进行SQL的优化。 此外,也将Calcite的一些使用样例整理成到github,https://github.c 阅读全文
posted @ 2020-09-16 18:59 zzzzMing 阅读(83) 评论(0) 推荐(0) 编辑
摘要:docker本身,其实仅仅是提供了一种沙盒的机制,对不同应用进行隔离。镜像是它出彩的一个设计,可以让开发者们快速部署应用。但这对大型应用管理来说,是远远不够的。开发者们在意识到这个问题后,提出了编排这个概念,从而引发的新的纷争。。。 阅读全文
posted @ 2020-08-10 20:49 zzzzMing 阅读(391) 评论(0) 推荐(0) 编辑
摘要:最近搭了Kylin Streaming并初步测试了下,觉得这个东西虽然有些限制,但还是蛮好用的,所以系统写篇文章总结下其原理和一些配置。 阅读全文
posted @ 2020-07-27 21:18 zzzzMing 阅读(140) 评论(0) 推荐(0) 编辑
摘要:不知不觉,2020年已经过去一半了,最近突然反应过来自己也看了不少文献资料了,就想着把看过的文献和觉得比较好的书籍做一个总结,基本都是大数据分布式领域的,回顾自己学识的同时,也给想从事或这个领域的小伙伴一些参考 阅读全文
posted @ 2020-07-16 19:32 zzzzMing 阅读(250) 评论(0) 推荐(1) 编辑
摘要:本篇主要是根据AnalyticDB的论文,来讨论AnalyticDB出现的背景,各个模块的设计,一些特性的解析。可能还会在一些点上还会穿插一些与当前业界开源实现的比对,希望能够有一个更加深入的探讨。OK,那我们开始吧。 AnalyticDB介绍与背景 要说AnalyticDB,那起码得知道它是干什么 阅读全文
posted @ 2020-07-01 20:07 zzzzMing 阅读(353) 评论(0) 推荐(1) 编辑
摘要:并发问题的根源在哪 首先,我们要知道并发要解决的是什么问题?并发要解决的是单进程情况下硬件资源无法充分利用的问题。而造成这一问题的主要原因是CPU-内存-磁盘三者之间速度差异实在太大。如果将CPU的速度比作火箭的速度,那么内存的速度就像火车,而最惨的磁盘,基本上就相当于人双腿走路。 这样造成的一个问 阅读全文
posted @ 2020-06-17 08:15 zzzzMing 阅读(450) 评论(0) 推荐(1) 编辑
摘要:本篇主要讨论的是不同存储结构(主要是LSM-tree和B-tree),它们应对的不同场景,所采用的底层存储结构,以及对应用以提升效率的索引。 所谓数据库,最基础的功能,就是保存数据,并且在需要的时候可以方便地检索到需要的数据。在这个基础上,演化出了不同的数据库系统,以及多种索引机制帮助检索数据。这篇 阅读全文
posted @ 2020-06-04 22:16 zzzzMing 阅读(347) 评论(0) 推荐(0) 编辑
摘要:Spark SQL原理解析前言: Spark SQL源码剖析(一)SQL解析框架Catalyst流程概述 Spark SQL源码解析(二)Antlr4解析Sql并生成树 Spark SQL源码解析(三)Analysis阶段分析 Spark SQL源码解析(四)Optimization和Physica 阅读全文
posted @ 2020-05-27 18:43 zzzzMing 阅读(392) 评论(0) 推荐(0) 编辑
摘要:Spark SQL原理解析前言: "Spark SQL源码剖析(一)SQL解析框架Catalyst流程概述" "Spark SQL源码解析(二)Antlr4解析Sql并生成树" "Spark SQL源码解析(三)Analysis阶段分析" 前面已经介绍了SQL parse,将一条SQL语句使用ant 阅读全文
posted @ 2020-05-14 08:04 zzzzMing 阅读(422) 评论(0) 推荐(1) 编辑
摘要:Spark SQL原理解析前言: "Spark SQL源码剖析(一)SQL解析框架Catalyst流程概述" "Spark SQL源码解析(二)Antlr4解析Sql并生成树" Analysis阶段概述 首先,这里需要引入一个新概念,前面介绍SQL parse阶段,会使用antlr4,将一条SQL语 阅读全文
posted @ 2020-04-28 18:04 zzzzMing 阅读(512) 评论(0) 推荐(0) 编辑