java/Java Pyton 大数据 Hadoop Spark

随笔分类 -  java/scala

1 2 下一页
calcite物化视图详解
摘要：概述 物化视图和视图类似，反映的是某个查询的结果，但是和视图仅保存SQL定义不同，物化视图本身会存储数据，因此是物化了的视图。 当用户查询的时候，原先创建的物化视图会注册到优化器中，用户的查询命中物化视图后，会直接去物化视图拿数据（缓存），提高运行速度，是典型的空间换时间。 本篇文章会先介绍《Opt 阅读全文
posted @ 2022-03-20 13:54 zzzzMing 阅读(2512) 评论(0) 推荐(0)
kafka SASL认证介绍及自定义SASL PLAIN认证功能
摘要：用户认证功能，是一个成熟组件不可或缺的功能。在0.9版本以前kafka是没有用户认证模块的（或者说只有SSL），好在kafka0.9版本以后逐渐发布了多种用户认证功能，弥补了这一缺陷（这里仅介绍SASL）。 本篇会先介绍当前kafka的四种认证方式，然后过一遍部署SASL/PLAIN认证功能的流程。 阅读全文
posted @ 2020-11-23 19:44 zzzzMing 阅读(17144) 评论(2) 推荐(0)
深入浅出Calcite与SQL CBO（Cost-Based Optimizer）优化
摘要：前阵子工作上需要用到Calcite做一些事情，然后发现这个东西也是蛮有意思的，就花了些时间研究了一下。本篇主要围绕SQL 优化这块来介绍Calcite，后面会介绍Hive如何Calcite进行SQL的优化。 此外，也将Calcite的一些使用样例整理成到github，https://github.c 阅读全文
posted @ 2020-09-16 18:59 zzzzMing 阅读(4883) 评论(0) 推荐(1)
kylin streaming原理介绍与特点浅析
摘要：最近搭了Kylin Streaming并初步测试了下，觉得这个东西虽然有些限制，但还是蛮好用的，所以系统写篇文章总结下其原理和一些配置。 阅读全文
posted @ 2020-07-27 21:18 zzzzMing 阅读(1013) 评论(0) 推荐(0)
java并发编程 --并发问题的根源及主要解决方法
摘要：并发问题的根源在哪 首先，我们要知道并发要解决的是什么问题？并发要解决的是单进程情况下硬件资源无法充分利用的问题。而造成这一问题的主要原因是CPU-内存-磁盘三者之间速度差异实在太大。如果将CPU的速度比作火箭的速度，那么内存的速度就像火车，而最惨的磁盘，基本上就相当于人双腿走路。 这样造成的一个问 阅读全文
posted @ 2020-06-17 08:15 zzzzMing 阅读(2698) 评论(1) 推荐(2)
Scala函数式编程（六） 懒加载与Stream
摘要：前情提要 "Scala函数式编程指南（一） 函数式思想介绍" "scala函数式编程（二） scala基础语法介绍" "Scala函数式编程（三） scala集合和函数" "Scala函数式编程（四）函数式的数据结构 上" "Scala函数式编程（四）函数式的数据结构 下" "Scala函数式编程（ 阅读全文
posted @ 2020-04-15 19:32 zzzzMing 阅读(2550) 评论(0) 推荐(1)
Scala函数式编程（五） 函数式的错误处理
摘要：前情提要 Scala函数式编程指南（一） 函数式思想介绍 scala函数式编程（二） scala基础语法介绍 Scala函数式编程（三） scala集合和函数 Scala函数式编程（四）函数式的数据结构 上 Scala函数式编程（四）函数式的数据结构 下 1.面向对象的错误处理 在介绍scala的函 阅读全文
posted @ 2020-02-20 21:01 zzzzMing 阅读(1048) 评论(0) 推荐(0)
Scala函数式编程（四）函数式的数据结构 下
摘要：前情提要 "Scala函数式编程指南（一） 函数式思想介绍" "scala函数式编程（二） scala基础语法介绍" "Scala函数式编程（三） scala集合和函数" "Scala函数式编程（四）函数式的数据结构 上" 1.List代码解析 今天介绍的内容，主要是对上一篇介绍的scala函数式数 阅读全文
posted @ 2019-12-19 18:03 zzzzMing 阅读(935) 评论(0) 推荐(2)
Scala函数式编程（四）函数式的数据结构 上
摘要：函数式编程的数据结构是什么样的呢？和我们最早接触到的数据结构有什么区别呢？ 阅读全文
posted @ 2019-12-04 18:03 zzzzMing 阅读(1377) 评论(0) 推荐(0)
Scala函数式编程（三） scala集合和函数
摘要：前面已经稍微介绍了scala的常用语法以及面向对象的一些简要知识，这次是补充上一章的，主要会介绍集合和函数。 阅读全文
posted @ 2019-09-26 18:06 zzzzMing 阅读(1865) 评论(0) 推荐(1)
scala函数式编程（二） scala基础语法介绍
摘要：上次我们介绍了函数式编程的好处，并使用scala写了一个小小的例子帮助大家理解，从这里开始我将真正开始介绍scala编程的一些内容。 阅读全文
posted @ 2019-09-19 18:46 zzzzMing 阅读(1310) 评论(0) 推荐(0)
scala函数式编程（二） scala基础语法介绍
摘要：上次我们介绍了函数式编程的好处，并使用scala写了一个小小的例子帮助大家理解，从这里开始我将真正开始介绍scala编程的一些内容。 阅读全文
posted @ 2019-09-18 18:03 zzzzMing 阅读(1351) 评论(0) 推荐(0)
Scala函数式编程指南（一） 函数式思想介绍
摘要：什么是函数式编程呢？那是有别于OOP是另一片星辰大海！今天就来介绍下函数式编程的思想。 阅读全文
posted @ 2019-07-18 19:08 zzzzMing 阅读(6337) 评论(2) 推荐(4)
spring boot整合Hadoop
摘要：Spring boot整合hadoop，以及踩坑介绍 阅读全文
posted @ 2019-02-19 17:43 zzzzMing 阅读(12977) 评论(1) 推荐(0)
hadoop1.0 和 Hadoop 2.0 的区别
摘要：Hadoop 1.0 到 Hadoop 2.0 经历了什么，我们又能从中看出什么呢？ 阅读全文
posted @ 2018-12-25 21:05 zzzzMing 阅读(11164) 评论(2) 推荐(4)
Actor模型浅析 一致性和隔离性
摘要：传统的 Java 根据共享内存来进行并发控制，而有一种并发编程模型则不需要，那就是 Actor 模型 阅读全文
posted @ 2018-11-16 20:42 zzzzMing 阅读(6569) 评论(4) 推荐(2)
scala模式匹配详细解析
摘要：scala 的模式匹配到底是什么呢，我们来深入了解看看 阅读全文
posted @ 2018-11-15 10:41 zzzzMing 阅读(1478) 评论(1) 推荐(0)
[转] Scala 中的异步事件处理
摘要：在任何并发性应用程序中，异步事件处理都至关重要。无论事件的来源是什么（不同的计算任务、I/O 操作或与外部系统的交互），您的代码都必须跟踪事件，协调为响应它们而执行的操作。应用程序可以采用两种基本方法之一来实现异步事件处理： 阻塞：一个等待事件的协调线程。 非阻塞：事件向应用程序生成某种形式的通知， 阅读全文
posted @ 2018-11-06 21:03 zzzzMing 阅读(1976) 评论(0) 推荐(1)
[转] Scala Try 与错误处理
摘要：一.概述 当你在尝试一门新的语言时，可能不会过于关注程序出错的问题， 但当真的去创造可用的代码时，就不能再忽视代码中的可能产生的错误和异常了。 鉴于各种各样的原因，人们往往低估了语言对错误处理支持程度的重要性。 事实会表明，Scala 能够很优雅的处理此类问题， 这一部分，我会介绍 Scala 基于 阅读全文
posted @ 2018-11-01 21:20 zzzzMing 阅读(946) 评论(0) 推荐(1)
JVM 之类加载
摘要：Java 的类加载过程是怎么样的呢？ 阅读全文
posted @ 2018-09-25 08:32 zzzzMing 阅读(561) 评论(0) 推荐(0)

1 2 下一页