累吗?累就对了,舒服是留给死人的...

.....说人好比盆中鲜花,生活就是一团乱麻,房屋修的再好那只是个临时住所,这个小盒才是你永久的家呀!
  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理
上一页 1 2 3 4 5 6 ··· 9 下一页

2017年9月26日

摘要: /** Spark SQL源码分析系列文章*/ 前面几篇文章讲解了Spark SQL的核心执行流程和Spark SQL的Catalyst框架的Sql Parser是怎样接受用户输入sql,经过解析生成Unresolved Logical Plan的。我们记得Spark SQL的执行流程中另一个核心的 阅读全文

posted @ 2017-09-26 13:50 Aaron-Mhs 阅读(492) 评论(0) 推荐(0)

摘要: /** Spark SQL源码分析系列文章*/ Spark SQL的核心执行流程我们已经分析完毕,可以参见Spark SQL核心执行流程,下面我们来分析执行流程中各个核心组件的工作职责。 本文先从入口开始分析,即如何解析SQL文本生成逻辑计划的,主要设计的核心组件式SqlParser是一个SQL语言 阅读全文

posted @ 2017-09-26 13:48 Aaron-Mhs 阅读(1368) 评论(0) 推荐(0)

摘要: /** Spark SQL源码分析系列文章*/ 自从去年Spark Submit 2013 Michael Armbrust分享了他的Catalyst,到至今1年多了,Spark SQL的贡献者从几人到了几十人,而且发展速度异常迅猛,究其原因,个人认为有以下2点: 1、整合:将SQL类型的查询语言整 阅读全文

posted @ 2017-09-26 13:47 Aaron-Mhs 阅读(595) 评论(0) 推荐(0)

摘要: 从决定写Spark SQL源码分析的文章,到现在一个月的时间里,陆陆续续差不多快完成了,这里也做一个整合和索引,方便大家阅读,这里给出阅读顺序 :) 第一篇 Spark SQL源码分析之核心流程 第二篇 Spark SQL Catalyst源码分析之SqlParser 第三篇 Spark SQL C 阅读全文

posted @ 2017-09-26 13:46 Aaron-Mhs 阅读(310) 评论(0) 推荐(0)

2017年8月18日

摘要: 基本分页存储管理方式 页面与页表 1. 页面 1) 页面和物理块 分页存储管理,是将一个进程的逻辑地址空间分成若干个大小相等的片,称为页面或页,并为各页加以编号,从0开始,如第0页、第1页等。相应地,也把内存空间分成与页面相同大小的若干个存储块,称为(物理)块或页框(frame),也同样为它们加以编 阅读全文

posted @ 2017-08-18 13:56 Aaron-Mhs 阅读(7737) 评论(0) 推荐(0)

摘要: 1. 简介 对于HBase的协处理器概念可由其官方博文了解:https://blogs.apache.org/hbase/entry/coprocessor_introduction 总体来说其包含两种协处理器:Observers和Endpoint。 其中Observers可以理解问传统数据库的触发 阅读全文

posted @ 2017-08-18 10:47 Aaron-Mhs 阅读(379) 评论(0) 推荐(0)

摘要: Hbase 协处理器 Coprocessor 简介 HBase 是一款基于 Hadoop 的 key-value 数据库,它提供了对 HDFS 上数据的高效随机读写服务,完美地填补了 Hadoop MapReduce 仅适于批处理的缺陷,正在被越来越多的用户使用。作为 HBase 的一项重要特性,C 阅读全文

posted @ 2017-08-18 10:43 Aaron-Mhs 阅读(493) 评论(0) 推荐(0)

摘要: 实现 Client 端代码 HBase 提供了客户端 Java 包 org.apache.hadoop.hbase.client.coprocessor。它提供以下三种方法来调用协处理器提供的服务: Table.coprocessorService(byte[]) Table.coprocessor 阅读全文

posted @ 2017-08-18 10:43 Aaron-Mhs 阅读(379) 评论(0) 推荐(0)

2017年8月17日

摘要: Spark可以通过三种方式配置系统: 通过SparkConf对象, 或者Java系统属性配置Spark的应用参数 通过每个节点上的conf/spark-env.sh脚本为每台机器配置环境变量 通过log4j.properties配置日志属性 Spark属性 Spark属性可以为每个应用分别进行配置, 阅读全文

posted @ 2017-08-17 21:25 Aaron-Mhs 阅读(5445) 评论(0) 推荐(0)

摘要: 文件操作 上一篇已经总结了流操作,其中也包括文件的读写。文件系统除了读写以为还有很多其他的操作,如复制、移动、删除、目录浏览、属性读写等。在Java7之前,一直使用File类用于文件的操作。Java7提供了Path,Paths,Files等类,使文件操作变得简单和全面。此外还有很多第三方库也提供了文 阅读全文

posted @ 2017-08-17 21:20 Aaron-Mhs 阅读(1861) 评论(0) 推荐(0)

上一页 1 2 3 4 5 6 ··· 9 下一页