摘要： 一、什么是机器学习 机器学习可以看做是一门人工智能的科学，该领域的主要研究对象是人工智能。机器学习利用数据或以往的经验，以此优化计算机程序的性能标准。 机器学习强调三个关键词：算法、经验、性能 二、基于大数据的机器学习 （1）map-reduce （2）Spark 三、Spark 机器学习库MLli 阅读全文

摘要： 一、Spark流计算组件的演进 二、Structured Streaming的基本原理 Structured Streaming将数据建模成一个结构化的数据表DataFrame，后到达的数据就是一条一条的记录不断往里追加。 三、为什么设计Structured Streaming 1.重新抽象了流失计 阅读全文

摘要： 在Spark应用中，外部系统经常需要使用到Spark DStream处理后的数据，因此，需要采用输出操作把DStream的数据输出到数据库或者文件系统中。 一、把DStream输出到文本文件中 请在NetworkWordCountStateful.scala代码文件中输入以下内容： package 阅读全文