摘要：
/** Spark SQL源码分析系列文章*/ 前面几篇文章讲解了Spark SQL的核心执行流程和Spark SQL的Catalyst框架的Sql Parser是怎样接受用户输入sql，经过解析生成Unresolved Logical Plan的。我们记得Spark SQL的执行流程中另一个核心的 阅读全文
posted @ 2017-09-26 13:50 Aaron-Mhs 阅读(525) 评论(0) 推荐(0)
摘要：
/** Spark SQL源码分析系列文章*/ Spark SQL的核心执行流程我们已经分析完毕，可以参见Spark SQL核心执行流程，下面我们来分析执行流程中各个核心组件的工作职责。 本文先从入口开始分析，即如何解析SQL文本生成逻辑计划的，主要设计的核心组件式SqlParser是一个SQL语言 阅读全文
posted @ 2017-09-26 13:48 Aaron-Mhs 阅读(1391) 评论(0) 推荐(0)
摘要：
/** Spark SQL源码分析系列文章*/ 自从去年Spark Submit 2013 Michael Armbrust分享了他的Catalyst，到至今1年多了,Spark SQL的贡献者从几人到了几十人，而且发展速度异常迅猛，究其原因，个人认为有以下2点： 1、整合：将SQL类型的查询语言整 阅读全文
posted @ 2017-09-26 13:47 Aaron-Mhs 阅读(621) 评论(0) 推荐(0)
摘要：
从决定写Spark SQL源码分析的文章，到现在一个月的时间里，陆陆续续差不多快完成了，这里也做一个整合和索引，方便大家阅读，这里给出阅读顺序 ：） 第一篇 Spark SQL源码分析之核心流程 第二篇 Spark SQL Catalyst源码分析之SqlParser 第三篇 Spark SQL C 阅读全文
posted @ 2017-09-26 13:46 Aaron-Mhs 阅读(344) 评论(0) 推荐(0)
摘要：
基本分页存储管理方式 页面与页表 1. 页面 1) 页面和物理块 分页存储管理，是将一个进程的逻辑地址空间分成若干个大小相等的片，称为页面或页，并为各页加以编号，从0开始，如第0页、第1页等。相应地，也把内存空间分成与页面相同大小的若干个存储块，称为(物理)块或页框(frame)，也同样为它们加以编 阅读全文
posted @ 2017-08-18 13:56 Aaron-Mhs 阅读(7827) 评论(0) 推荐(0)
摘要：
1. 简介 对于HBase的协处理器概念可由其官方博文了解：https://blogs.apache.org/hbase/entry/coprocessor_introduction 总体来说其包含两种协处理器：Observers和Endpoint。 其中Observers可以理解问传统数据库的触发 阅读全文
posted @ 2017-08-18 10:47 Aaron-Mhs 阅读(405) 评论(0) 推荐(0)
摘要：
Hbase 协处理器 Coprocessor 简介 HBase 是一款基于 Hadoop 的 key-value 数据库，它提供了对 HDFS 上数据的高效随机读写服务，完美地填补了 Hadoop MapReduce 仅适于批处理的缺陷，正在被越来越多的用户使用。作为 HBase 的一项重要特性，C 阅读全文
posted @ 2017-08-18 10:43 Aaron-Mhs 阅读(553) 评论(0) 推荐(0)
摘要：
实现 Client 端代码 HBase 提供了客户端 Java 包 org.apache.hadoop.hbase.client.coprocessor。它提供以下三种方法来调用协处理器提供的服务： Table.coprocessorService(byte[]) Table.coprocessor 阅读全文
posted @ 2017-08-18 10:43 Aaron-Mhs 阅读(403) 评论(0) 推荐(0)
摘要：
Spark可以通过三种方式配置系统: 通过SparkConf对象, 或者Java系统属性配置Spark的应用参数 通过每个节点上的conf/spark-env.sh脚本为每台机器配置环境变量 通过log4j.properties配置日志属性 Spark属性 Spark属性可以为每个应用分别进行配置， 阅读全文
posted @ 2017-08-17 21:25 Aaron-Mhs 阅读(5497) 评论(0) 推荐(0)
摘要：
文件操作 上一篇已经总结了流操作，其中也包括文件的读写。文件系统除了读写以为还有很多其他的操作，如复制、移动、删除、目录浏览、属性读写等。在Java7之前，一直使用File类用于文件的操作。Java7提供了Path，Paths，Files等类，使文件操作变得简单和全面。此外还有很多第三方库也提供了文 阅读全文
posted @ 2017-08-17 21:20 Aaron-Mhs 阅读(1885) 评论(0) 推荐(0)
浙公网安备 33010602011771号