摘要：
勿以事小而不为 一直都说Java是跨平台的，开始学的时候，老师也是这么教的，但是Java为什么能够跨平台呢？ java之所以能够跨平台，是因为java有不同版本的jvm，比如有windows的，linux的。 你在windows平台写的java代码，经过jvm虚拟机，编译成javac文件（字节码文件 阅读全文
摘要：
Flume是一款优秀的数据采集框架主要包括三个主件source，channel，sink。 source表示接入的数据源 channel表示数据的存储介质 sink表示数据打到什么地方 Flume 具体支持的数据源可以参考该链接：https://www.pianshen.com/article/68 阅读全文
摘要：
突然感觉kafka跟socket有点像，只是kafka具备更多的功能，是一个经典的消费者生产者模式。 kafka中有不同的topic，生产者可以把数据发送到不同的topic，消费可以指定相应的topic进行消费。 本文就kafka是什么，不做详细的介绍依旧是上两张图。 图一：展示了kafka的强大的 阅读全文
摘要：
SparkStreaming 这个名字起的很有意思，就是只要能流式读取的数据，都可以作为SparkStreaming的数据源 下面我们来介绍另一种常见的流，socket流（套接字流） socket个人理解就像是一部手机（根据时代的不同，之前可以理解成有线电话），通过这部手机，可以进行信息流的传递。 阅读全文
摘要：
上一讲提到，spark是一个数据处理的框架，用来处理大量的数据，因为在传统的使用中，我们的文件可能只存在一台物理机器上。 但是随着互联网的发展，由于业务需要处理的数据越来越多，单台机器无法处理大量的数据，spark框架应运而生。 实际业务中，有些数据是需要实时监控处理计算的，比如网站的用户行为数据， 阅读全文
摘要：
spark是一套数据处理框架，数据分为静态数据和实时数据（sparkStreaming） 因为spark本身是一个数据处理的框架，本身不负责生产数据和存储数据。 所以需要一些数据源的接入。本文主要说的是把关系型数据库mysql作为数据源。 测试环境是在本地的mysql数据，需要本地已经安装了mysq 阅读全文
摘要：
本篇介绍 RDD，DataFrame与DataSet之间的转化 在Object中构建 SparkSession object SparkRDD_DF { def main(args: Array[String]): Unit = { val sparkSession = SparkSession.b 阅读全文
摘要：
本篇主要是Dataframe的相关使用 RDD在我们的使用过程，每一行存储的是一个RDD对象。 RDD中有很多算子，可以供我们使用。比如最简单的wordcount，我们只需要简单的三个算子就可以完成hadoop写若干行代码才能完成的事，开发效率大大提升。 我们上一讲提到的算子有map，reduceB 阅读全文
摘要：
spark中常用的两种数据类型，一个是RDD，一个是DataFrame，本篇主要介绍RDD的一些应用场景见代码本代码的应用场景是在spark本地调试（windows环境） /** * 创建 sparkSession对象 */ val sparkSession = SparkSession.build 阅读全文
摘要：
Java 中的流主要是分为字节流和字符流 再一个角度分析的话可以分为输入流和输出流输入和输出是一个相对的概念 相对的分别是jvm虚拟机的内存大小从另一个角度讲Java或者用Java开发的其他软件只是一个工具而已你可以从几个角度进行深入，一个是利用好工具，一个是改造工具，一个是制造工具 try { B 阅读全文