摘要:在Druid快速入门其实已经简单的介绍过最简化配置的单节点部署,本文我们将详细描述Druid的多种部署方式,对于测试开发环境可以选用轻量的单机部署方式,而生产环境我们最好选用集群部署的方式,确保系统的高可用性。 一、单机部署 Druid提供了一组可以参考的配置和单机部署的启动脚本。 尺寸适合笔记本电 阅读全文
posted @ 2020-02-17 08:57 独孤风 阅读 (8) 评论 (0) 编辑
摘要:Apache Flink社区宣布Flink 1.10.0正式发布! 本次Release版本修复1.2K个问题,对Flink作业的整体性能和稳定性做了重大改进,同时增加了对K8S,Python的支持。 这个版本标志着与Blink集成的完成,并且强化了流式SQL与Hive的集成,本文将详细介绍新功能和主 阅读全文
posted @ 2020-02-13 09:37 独孤风 阅读 (72) 评论 (0) 编辑
摘要:一、安装准备 本次安装的版本是截止2020.1.30最新的版本0.17.0 软件要求 需要 Java 8(8u92 +) 以上的版本,否则会有问题 Linux,Mac OS X或其他类似Unix的操作系统(不支持Windows) 硬件要求 Druid包括一组参考配置和用于单机部署的启动脚本: 单服务 阅读全文
posted @ 2020-02-10 09:05 独孤风 阅读 (29) 评论 (0) 编辑
摘要:一、Druid是什么 Druid 单词来源于西方古罗马的神话人物,中文常常翻译成德鲁伊。 玩过魔兽世界,暗黑破坏神,Dota,炉石传说,Dota自走棋的朋友,对这个词一定不陌生。 本文中所介绍的Druid是一个分布式的支持实时分析的数据存储系统。通俗一点:高性能实时分析数据库。它由美国广告技术公司M 阅读全文
posted @ 2020-02-03 09:11 独孤风 阅读 (241) 评论 (1) 编辑
摘要:Apache Flink Apache Flink 是一个兼顾高吞吐、低延迟、高性能的分布式处理框架。在实时计算崛起的今天,Flink正在飞速发展。由于性能的优势和兼顾批处理,流处理的特性,Flink可能正在颠覆整个大数据的生态。 DataSet API 首先要想运行Flink,我们需要下载并解压F 阅读全文
posted @ 2020-01-06 13:55 独孤风 阅读 (305) 评论 (0) 编辑
摘要:双11大屏 每年天猫双十一购物节,都会有一块巨大的实时作战大屏,展现当前的销售情况。 这种炫酷的页面背后,其实有着非常强大的技术支撑,而这种场景其实就是实时报表分析。 实时报表分析是近年来很多公司采用的报表统计方案之一,其中最主要的应用就是实时大屏展示。利用流式计算实时得出结果直接被推送到前端应用, 阅读全文
posted @ 2020-01-03 10:36 独孤风 阅读 (59) 评论 (0) 编辑
摘要:新功能 允许消费者从最近的副本进行获取 为 Consumer Rebalance Protocol 增加对增量协同重新均衡(incremental cooperative rebalancing)的支持 新增 MirrorMaker 2.0 (MM2),新的多集群跨数据中心复制引擎 引入新的 Jav 阅读全文
posted @ 2019-12-30 09:32 独孤风 阅读 (203) 评论 (0) 编辑
摘要:Vmvare设置好虚拟机的磁盘大小之后,发现磁盘空间不够了,这个时候怎么扩展磁盘的大小呢? 首先,在确保虚拟机关闭的情况下,右键设置,选择硬盘,扩展,这样就可以增加磁盘的大小。 但是由于未进行分区和磁盘挂载的设置,我们启动虚拟机以后并不能使用增加的磁盘空间,这个时候怎么办呢?有两种办法 先用root 阅读全文
posted @ 2019-12-27 10:04 独孤风 阅读 (60) 评论 (0) 编辑
摘要:Ambari 2.7.3.0安装新组件和之前版本略有不同,本文将简述安装新组件的简单过程。 前提是大家已经安装好Ambari 2.7.3.0 这时候由于有一些组件没有添加,就需要安装新的组件。 首先我们登录到Ambari中。 然后选择左下角 Stack and Versions 在这个页面可以看到我 阅读全文
posted @ 2019-12-26 09:27 独孤风 阅读 (44) 评论 (0) 编辑
摘要:flink是一款开源的大数据流式处理框架,他可以同时批处理和流处理,具有容错性、高吞吐、低延迟等优势,本文简述flink的编程模型。 数据集类型: 无穷数据集:无穷的持续集成的数据集合 有界数据集:有限不会改变的数据集合 常见的无穷数据集有: 用户与客户端的实时交互数据 应用实时产生的日志 金融市场 阅读全文
posted @ 2019-12-16 11:00 独孤风 阅读 (117) 评论 (0) 编辑