fcyh

2017年10月13日

摘要： sbt使用详解安装：我的系统为centos6.5故采用官方提供的在线安装： [html] view plain copy curl https://bintray.com/sbt/rpm/rpm > bintray-sbt-rpm.repo sudo mv bintray-sbt-rpm.rep 阅读全文

posted @ 2017-10-13 16:53 fcyh 阅读(5232) 评论(0) 推荐(0)

Spark SQL讲解

摘要： Spark SQL讲解 Spark SQL是支持在Spark中使用Sql、HiveSql、Scala中的关系型查询表达式。它的核心组件是一个新增的RDD类型SchemaRDD，它把行对象用一个Schema来描述行里面的所有列的数据类型，它就像是关系型数据库里面的一张表。它可以从原有的RDD创建，也可阅读全文

posted @ 2017-10-13 11:41 fcyh 阅读(1344) 评论(0) 推荐(0)

2017年10月11日

Spark Shuffle原理解析

摘要： Spark Shuffle原理解析一：到底什么是Shuffle？ Shuffle中文翻译为“洗牌”，需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算。二：Shuffle可能面临的问题？运行Task的时候才会产生Shuffle（Shuffle已经融化在Sp 阅读全文

posted @ 2017-10-11 14:11 fcyh 阅读(583) 评论(0) 推荐(0)

Spark算子总结（带案例）

摘要： Spark算子总结（带案例） spark算子大致上可分三大类算子： 1、Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是Value型的数据。 2、Key-Value数据类型的Transformation算子，这种变换不触发提交作业，针对处理的数据项是K 阅读全文

posted @ 2017-10-11 11:21 fcyh 阅读(683) 评论(0) 推荐(0)

2017年9月29日

Spark 介绍（基于内存计算的大数据并行计算框架）

摘要： Spark 介绍（基于内存计算的大数据并行计算框架） Spark 介绍（基于内存计算的大数据并行计算框架） Spark 介绍（基于内存计算的大数据并行计算框架） Hadoop与Spark 行业广泛使用Hadoop来分析他们的数据集。原因是Hadoop框架基于一个简单的编程模型（MapReduce），阅读全文

posted @ 2017-09-29 16:19 fcyh 阅读(8284) 评论(0) 推荐(0)

2017年9月28日

如何将本地项目上传至GitHub（so easy！！！）

摘要：如何将本地项目上传至GitHub 首先你需要一个github账号，所有还没有的话先去注册吧！ https://github.com/ 我们使用git需要先安装git工具，这里给出下载地址，下载后一路直接安装即可： https://git-for-windows.github.io/ 1.进入Gith 阅读全文

posted @ 2017-09-28 16:15 fcyh 阅读(2770) 评论(0) 推荐(0)

Kafka内核中的分布式机制实现

摘要： Kafka内核中的分布式机制实现一个Topic中的所有数据分布式的存储在kafka集群的所有机器(broker)上，以分区(partition)的的形式进行数据存储；每个分区允许存在备份数据/备份分区(存储在同一kafka集群的其它broker上的分区) 每个数据分区在Kafka集群中存在一个br 阅读全文

posted @ 2017-09-28 11:40 fcyh 阅读(624) 评论(0) 推荐(0)

Anaconda下载（改变了镜像路径，下载速度很快!!!）

摘要： Anaconda下载（改变了镜像路径，下载速度很快!!!）使用conda install 包名安装需要的Python非常方便，但是官方的服务器在国外，因此下载速度很慢，国内清华大学提供了Anaconda的仓库镜像，我们只需要配置Anaconda的配置文件，添加清华的镜像源，然后将其设置为第一搜索阅读全文

posted @ 2017-09-28 09:32 fcyh 阅读(2054) 评论(0) 推荐(0)

2017年9月26日

Class类文件结构

摘要：平台无关性 Java是与平台无关的语言，这得益于Java源代码编译后生成的存储字节码的文件，即Class文件，以及Java虚拟机的实现。不仅使用Java编译器可以把Java代码编译成存储字节码的Class文件，使用JRuby等其他语言的编译器也可以把程序代码编译成Class文件，虚拟机并不关心Cla 阅读全文

posted @ 2017-09-26 16:57 fcyh 阅读(485) 评论(0) 推荐(0)

JVM类加载过程

摘要： JVM类加载过程类从被加载到虚拟机内存中开始，到卸载出内存为止，它的整个生命周期包括：加载、验证、准备、解析、初始化、使用和卸载七个阶段。它们开始的顺序如下图所示：其中类加载的过程包括了加载、验证、准备、解析、初始化五个阶段。在这五个阶段中，加载、验证、准备和初始化这四个阶段发生的顺序是确定的，阅读全文

posted @ 2017-09-26 16:38 fcyh 阅读(318) 评论(0) 推荐(0)

人一定要靠自己！！！

公告