流氓小伙子

摘要： （一）什么是Spring Spring框架是个轻量级的Java EE框架。所谓轻量级，是指不依赖于容器就能运行的一个开源框架。 EE开发分为三层结构：WEB层（Spring MVC） 业务层（Bean管理IOC） 持久层（Spring 的JDBC模板 、ORM模板用于整合其他的持久层框架） （二）开 阅读全文

摘要： 转自：https://blog.csdn.net/yuan_xw/article/details/512109541 Kafka入门教程1.1 消息队列（Message Queue)Message Queue消息传送系统提供传送服务。消息传送依赖于大量支持组... 阅读全文

摘要： 转自：https://blog.csdn.net/yuan_xw/article/details/79188061 Kafka集群环境安装 Kafka集群环境安装 Kafka集群环境安装 相关下载 JDK要求1.8版本以上。 JDK安装教程：http://blog.csdn.net/yuan_xw/ 阅读全文

摘要： 1、介绍 Apache Flume是为有效收集聚合和移动大量来自不同源到中心数据存储而设计的可分布，可靠的，可用的系统。flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据，同时，Flume提供对数据进行简单处理，并写到各种数据接受 阅读全文

摘要： 1、相关介绍 Datasets：一个 Dataset 是一个分布式的数据集合 Dataset 是在 Spark 1.6 中被添加的新接口, 它提供了 RDD 的优点（强类型化, 能够使用强大的 lambda 函数）与Spark SQL执行引擎的优点。 DataFrame： 一个 DataFrame 阅读全文

摘要： 介绍 1、是spark core的扩展，针对实时数据流处理,具有可扩展、高吞吐量、容错. 数据可以是来自于kafka,flume,tcpsocket,使用高级函数(map reduce filter ,join , windows), 处理的数据可以推送到database,hdfs,针对数据流处理可 阅读全文

摘要： 共享变量 （1）累加器：是用来对信息进行聚合的，同时也是Spark中提供的一种分布式的变量机制，其原理类似于mapreduce，即分布式的改变，然后聚合这些改变。累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数。 Spark内置的提供了Long和Double类型的累加器 此代码用于实现累 阅读全文

摘要： 背景：一个java中的类只有实现了Serializable接口，它的对象才是可序列化的。如果要序列化某些类的对象，这些类就必须实现Serializable接口。Serializable是一个空接口，没有什么具体内容，它的目的只是简单的标识一个类的对象可以被序... 阅读全文

摘要： 1、文件格式Spark对很多种文件格式的读取和保存方式都很简单。 （1）文本文件 读取： 将一个文本文件读取为一个RDD时，输入的每一行都将成为RDD的一个元素。val input=sc.textFile("...")也可以将多个完整的文本文件读取为一个pa... 阅读全文

摘要： 1、pair RDD的简介 Spark为包含键值对类型的RDD提供了一些专有的操作，这些RDD就被称为pair RDD 那么如何创建pair RDD呢？ 在不同的语言中有着不同的创建方式 在python和Scala语言中创建的方式都是差不多的。 在java语言中： java用户还需要调用专门的Spa 阅读全文