随笔分类 - Hadoop
Hadoop集群的学习和应用
摘要：简介 同Hive Hook一样，Presto也支持自定义实现Event Listener，用于侦听Presto引擎执行查询时发生的事件，并作出相应的处理。我们可以利用该功能实现诸如自定义日志记录、调试和性能分析插件，帮助我们更好的运维Presto集群。但是不同于Hive Hook的是，在Presto
阅读全文
摘要：Presto因其优秀的查询速度被我们所熟知，它本身基于MPP架构，可以快速的对Hive数据进行查询，同时支持扩展Connector，目前对Mysql、MongoDB、Cassandra、Hive等等一系列的数据库都提供了Connector进行支持。是我们常用的SQL on Hadoop的解决方案。那
阅读全文
摘要：特别声明：本文来源于掘金，“预留”发表的 "Apache Calcite 论文学习笔记" 最近在关注大数据处理的技术和开源产品的实现，发现很多项目中都提到了一个叫 Apache Calcite 的东西。同样的东西一两次见不足为奇，可再三被数据处理领域的各个不同时期的产品提到就必须引起注意了。为此也搜
阅读全文
摘要：之前我们提到大数据的时候就会提到Hadoop，Hadoop是大数据的基础框架，是大数据技术的代表。提到HDFS、MapReduce、Yarn，提到HBase、Hive、TEZ等Hadoop生态圈中的一个又一个开源组件。但是最近好像有点不一样了。 Hadoop三巨头 曾经的三巨头之一MapR向加州就业
阅读全文
摘要：Hive作为SQL on Hadoop最稳定、应用最广泛的查询引擎被大家所熟知。但是由于基于MapReduce，查询执行速度太慢而逐步引入其他的近实时查询引擎如Presto等。值得关注的是Hive目前支持MapReduce、Tez和Spark三种执行引擎，同时Hive3也会支持联邦数据查询的功能。所
阅读全文
摘要：前言 数据时代，数据的多源集成和快速检索查询是第一步，配上数据分析及可视化才能算窥得大数据一角。 创建这个项目的主要目的一是对前期工作的一些总结，二是提升自己。 这里简单介绍一下sqlpro这个项目的核心功能。 本项目基于python的flask web框架。提供简单的页面（起初准备用vue写前端，
阅读全文
摘要：文章导读： 1. 什么是RBO？ 2. 什么是CBO？ 我们在工作中经常会听到这样的声音：“SQL查询慢？你给数据库加个索引啊”。虽然加索引并不一定能解决问题，但是这初步的体现了SQL优化的思想。 而数据库主要由三部分组成，分别是 解析器 、 优化器 和 执行引擎 。 其执行逻辑是我们输入的SQL语
阅读全文
摘要：文章导读： 1. 什么是Calcite？ 2. Calcite的主要功能？ 3. 如何快速使用Calcite？ 什么是Calcite Apache Calcite是一个动态数据管理框架，它具备很多典型数据库管理系统的功能，比如SQL解析、SQL校验、SQL查询优化、SQL生成以及数据连接查询等，但是
阅读全文
摘要：文章导读： 对称加密 非对称加密 数字证书 Kerberos认证流程 Hadoop生态利用Kerberos认证机制来识别可靠的服务和节点，保障Hadoop集群的安全，那么Kerberos到底是什么？为什么要选择它来进行认证？Kerberos认证的流程又是怎样的呢？让我们带着这些问题看一下这篇文章。
阅读全文
摘要：问题导读： 1. 什么是数据仓库 2. 数据仓库与数据库的区别 3. 数据仓库的适用场景 Hive作为Hadoop生态圈重要的一员已经被我们所熟知，它作为一个基于Hadoop的数据仓库工具，用来做离线的数据分析工作。那么什么是数据仓库，它与我们经常使用的数据库有什么不同呢？ 什么是数据仓库 数据仓库
阅读全文
摘要：问题导读： Gobblin的架构设计是怎样的？ Gobblin拥有哪些组建，如何实现可扩展？ Gobblin采集执行流程的过程？ 前面我们介绍Gobblin是用来整合各种数据源的通用型ETL框架，在某种意义上，各种数据都可以在这里“一站式”的解决ETL整个过程，专为大数据采集而生，易于操作和监控，提
阅读全文
摘要：问题导读： Hadoop数据采集框架都有哪些？ Hadoop数据采集框架异同及适用场景？ Hadoop提供了一个高度容错的分布式存储系统，帮助我们实现集中式的数据分析和数据共享。在日常应用中我们比如要将各种数据采集到HDFS存储服务中去，说到将数据采集到HDFS，我们熟知的框架包括： Apache
阅读全文
摘要：前面我们提到的HDFS，了解了HDFS的特性和架构。HDFS能够存储TB甚至PB规模的数据是有前提的，首先数据要以大文件为主，其次NameNode的内存要足够大。对HDFS有所了解的同学肯定都知道，NameNode是HDFS的存储着整个集群的元数据信息，比如所有文件和目录信息等等。而且当元数据信息较
阅读全文
摘要：前面我们提到了Ceph是一个支持统一存储架构的分布式存储服务。简单介绍了Ceph的基本概念和基础架构包含的组件，其中最重要的就是底层的RADOS和它的两类守护进程OSD and Monitor。上篇文章我们还挖了一个坑，我们提到了CRUSH。 是的，我们这篇教程就是一篇不完整的Ceph教材，因为我们
阅读全文
摘要：有人问我，你是如何做到统一存储的？我微微一笑，大声告诉他：Ceph在手，天下我有。 Ceph是一个统一的分布式存储系统，旨在实现出色的性能，可靠性和可扩展性。认了OpenStack做大哥之后更是一发不可收拾，受到大家广泛的关注。当然这都是因为它能提供多样可靠稳定的存储服务。 Ceph支持三种调用模式
阅读全文
摘要：你肯定听过Hadoop，对就是那头奔跑的小象。 Hadoop作为大数据时代代表性的解决方案被大家所熟知，它主要包含两部分内容： HDFS分布式文件存储 MapReduce分布式计算框架 前面我们分析存储方案的发展的时候有提到分布式文件存储的出现是为了解决存储的三大问题：可扩展性，高吞吐量，高可靠性
阅读全文
摘要：什么FAT,NTFS,NFS,DAS,SAN,NAS,OSD这些名词我一个都不认识。 不知道各位大佬对上面的名词了解多少，通过上面的一些名词其实可以大致的看到存储是怎样一步步发展的。其中FAT,NTFS和NFS都是支持特定存储协议的存储系统，DAS,SAN,NAS,OSD是一种存储模型。稍微科普一下
阅读全文
摘要：最近几年IT技术的发展真的是日新月异，什么云计算、大数据、机器学习、AI等等名词层出不穷。多数程序员内心其实是恐慌的，我也时常会感到危机感。每每看到“xx培训，大数据就业，钱景好”我嘴上说不要，身体还是很诚实的。 大数据已经深入我们的生活当中，今天呢我们也不聊4个V（Volume 规模大、Varit
阅读全文
摘要：Hadoop 基础知识 大数据已经火了很长很长时间了，从最开始是个公司都说自己公司的数据量很大，我们在搞大数据。到现在大数据真的已经非常成熟并且已经在逐渐的影响我们的生产生活。你可能听过支付宝的金融大数据，滴滴的出行大数据以及其他的诸如气象大数据等等，我们每个人都是数据的制造者，以后又将享受大数据技
阅读全文
摘要：HDFS 读写流程 我们知道在HDFS中我们的文件按数据块进行存储，那么当我们写入或者读取一个文件的时候HDFS到底进行了哪些操作呢？ HDFS 写流程 如上图所示，假如我们有一个四个节点的集群，并且我们将数据备份个数设置成3个。当我们写入一个文件到HDFS集群的时候： 1. 首先，HDFS Cli
阅读全文
浙公网安备 33010602011771号