置顶随笔
摘要: 《Effective Java, Third Edition》一书英文版已经出版,这本书的第二版想必很多人都读过,号称Java四大名著之一,不过第二版2009年出版,到现在已经将近8年的时间,但随着Java 6,7,8,甚至9的发布,Java语言发生了深刻的变化。 读书笔记 第1章 介绍 (Intr阅读全文
posted @ 2018-04-10 21:04 虾皮 阅读(1424) 评论(0) 编辑
摘要: ANTLR v4是一款强大的语法分析器生成器,可以用来读取、处理、执行和转换结构化文本或二进制文件。通过称为文法的形式化语言描述,ANTLR可以为该语言自动生成词法分析器。生成的语法分析器可以自动构建语法分析树,它是表示文法如何匹配输入的数据结构。ANTLR还可以自动生成树遍历器,用来访问树节点以执阅读全文
posted @ 2018-04-09 16:39 虾皮 阅读(109) 评论(0) 编辑
摘要: 关于转载一些 Spark 官方的文档以及 DataBricks 公司博文,本系列基本是中英双语,主要是为了提高自己的英语水平。 文章分类 spark databricks A Tale of Three Apache Spark APIs: RDDs, DataFrames, and Dataset阅读全文
posted @ 2018-04-03 20:38 虾皮 阅读(179) 评论(0) 编辑
摘要: 学习 Spark 中,别人整理不错的文章,转载至本博客,方便自己学习,并按照不同的模块归档整理。每个文章作者能力不同,写文章所处的时间点不同,可能会略有差异,在阅读的同时,注意当时的文章的内容是否已经过时。 文章分类 Spark Core RDD Spark 核心概念RDD RPC Network 阅读全文
posted @ 2018-04-02 14:04 虾皮 阅读(292) 评论(0) 编辑
摘要: 对于一个具有相当技术门槛与复杂度的平台,Spark从诞生到正式版本的成熟,经历的时间如此之短,让人感到惊诧。2009年,Spark诞生于伯克利大学AMPLab,最开初属于伯克利大学的研究性项目。它于2010年正式开源,并于2013年成为了Aparch基金项目,并于2014年成为Aparch基金的顶级阅读全文
posted @ 2018-03-20 16:15 虾皮 阅读(641) 评论(0) 编辑
摘要: 记录自己学习研究 Spark 的探索过程,为后续总结奠定基础。 本文代码研究以 Spark 2.3.0 源代码为基准,如果看本文,请阅读时,下载对应的 Spark 版本。 图1 伯克利的数据分析软件栈BDAS(Berkeley Data Analytics Stack) 这里要先说BDAS(伯克利数阅读全文
posted @ 2018-03-20 14:08 虾皮 阅读(2294) 评论(0) 编辑
摘要: 下面是Nutch搜索系列目录,希望对研究Nutch的同学有所帮助。 目录安排: 1)Nutch搜索引擎(第1期)_ Nutch简介及安装[下载] 2)Nutch搜索引擎(第2期)_ Solr简介及安装[下载] 3)Nutch搜索引擎(第3期)_ Nutch简单应用 4)Nutch搜索引擎(第4期)_阅读全文
posted @ 2014-03-21 13:23 虾皮 阅读(6311) 评论(4) 编辑
摘要: 目录安排: 1)Hadoop集群_第1期_CentOS安装配置_V1.0 2)Hadoop集群_第2期_机器信息分布表_V1.1 3)Hadoop集群_第3期_VSFTP安装配置_V1.0 4)Hadoop集群_第4期_SecureCRT使用_V1.0 5)Hadoop集群_第5期_Hadoop安装阅读全文
posted @ 2012-04-08 19:15 虾皮 阅读(62763) 评论(52) 编辑
  2018年4月10日
正文内容加载中...
posted @ 2018-04-10 21:04 虾皮 阅读(1424) 评论(0) 编辑
摘要: 本章内容: 1、源码 InterfaceStability 类包含三个注解,用于说明被他们注解的类型的稳定性。 2、总结 InterfaceStability 类包含三个注解,用于说明被他们注解的类型的稳定性。 @InterfaceStability.Stable: 说明主版本是稳定的,不同主版本之阅读全文
posted @ 2018-04-10 20:48 虾皮 阅读(184) 评论(0) 编辑
  2018年4月9日
摘要: 记录《The Definitive ANTLR 4 Reference》中出现的专业术语: grammar 文法,一种形式化(formal)的语言描述。 syntax 语法 phrase 短语 lexer 词法分析器 parser 语法分析器 parse tree 语法分析树,表示语法如何匹配输入的阅读全文
posted @ 2018-04-09 17:18 虾皮 阅读(86) 评论(0) 编辑
摘要: ANTLR v4是一款强大的语法分析器生成器,可以用来读取、处理、执行和转换结构化文本或二进制文件。通过称为文法的形式化语言描述,ANTLR可以为该语言自动生成词法分析器。生成的语法分析器可以自动构建语法分析树,它是表示文法如何匹配输入的数据结构。ANTLR还可以自动生成树遍历器,用来访问树节点以执阅读全文
posted @ 2018-04-09 16:39 虾皮 阅读(109) 评论(0) 编辑
  2018年4月8日
摘要: 文章标题 Apache Spark as a Compiler: Joining a Billion Rows per Second on a Laptop Deep dive into the new Tungsten execution engine 作者介绍 Sameer Agarwal, D阅读全文
posted @ 2018-04-08 21:20 虾皮 阅读(111) 评论(0) 编辑
摘要: 文章标题 Deep Dive into Spark SQL’s Catalyst Optimizer 作者介绍 Michael Armbrust, Yin Huai, Cheng Liang, Reynold Xin and Matei Zaharia 文章正文 参考文献 https://datab阅读全文
posted @ 2018-04-08 21:17 虾皮 阅读(91) 评论(0) 编辑
摘要: 文章标题 What’s new for Spark SQL in Apache Spark 1.3 作者介绍 Michael Armbrust 文章正文 The Apache Spark 1.3 release represents a major milestone for Spark SQL. 阅读全文
posted @ 2018-04-08 21:12 虾皮 阅读(64) 评论(0) 编辑
摘要: 文章正文 通过隐式转换,程序员可以在编写Scala程序时故意漏掉一些信息,让编译器去尝试在编译期间自动推导出这些信息来,这种特性可以极大的减少代码量,忽略那些冗长,过于细节的代码。 1、Spark 中的隐式思考 隐式转换是Scala的一大特性, 如果对其不是很了解, 在阅读Spark代码时候就会很迷阅读全文
posted @ 2018-04-08 16:47 虾皮 阅读(2122) 评论(1) 编辑
  2018年4月4日
摘要: 文章标题 Introducing Apache Spark Datasets 作者介绍 Michael Armbrust, Wenchen Fan, Reynold Xin and Matei Zaharia 文章正文 Developers have always loved Apache Spar阅读全文
posted @ 2018-04-04 16:49 虾皮 阅读(76) 评论(0) 编辑
摘要: 文章标题 Introducing DataFrames in Apache Spark for Large Scale Data Science 一个用于大规模数据科学的API——DataFrame 作者介绍 Reynold Xin, Michael Armbrust and Davies Liu 阅读全文
posted @ 2018-04-04 15:49 虾皮 阅读(95) 评论(0) 编辑