yhkdw

摘要： 今天了解了 GraphX：以SparkCore为基础，进行图计算，提供了大量的图计算API，方便用于以分布式计算模式进行图计算。 阅读全文

摘要： 今日了解了MLlib：以SparkCore为基础，进行机器学习计算，内置了大量的机器学习库和API算法等。方便用户以分布式计算的模式进行机器学习计算。 阅读全文

摘要： 今日学习了 SparkStreaming：以SparkCore为基础，提供数据的流式计算功能。 阅读全文

摘要： 今日学习了 SparkSQL：基于SparkCore之上，提供结构化数据的处理模块。SparkSQL支持以SQL语言对数据进行处理，SparkSQL本身针对离线计算场景。同 时基于SparkSQL，Spark提供了StructuredStreaming模块，可以以SparkSQL为基础，进行数据的流 阅读全文

摘要： 今天了解了 Spark Core：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spark运行的基础。Spark Core以RDD为数据抽象，提供Python、Java、 Scala、R语言的API，可以编程进行海量离线数据批处理计算 阅读全文

摘要： 今天了解了spark的运行平台 Spark 支持多种运行方式，包括在 Hadoop 和 Mesos 上，也支持 Standalone的独立运行模式，同时也可以运行在云Kubernetes（Spark 2.3开始支持）上。 阅读全文

摘要： 今日了解了spark的工具库 在 Spark 的基础上，Spark 还提供了包括Spark SQL、Spark Streaming、MLib 及GraphX在内的多个工具库 阅读全文

摘要： 今天了解了spark的版本 决定采用 Spark 3.2.0，支持了包括 Java、Scala、Python 、R和SQL语言在内的多种语言。为了 兼容Spark2.x企业级应用场景，Spark仍然持续更新Spark2版本。 阅读全文

摘要： 今日学习了线程的基本概念 线程基本概念 线程是CPU的基本调度单位 一个进程一般包含多个线程, 一个进程下的多个线程共享进程的资源 不同进程之间的线程相互不可见 线程不能独立执行 一个线程可以创建和撤销另外一个线程 阅读全文

摘要： 今日学习了spark和hadoop的优缺点 Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没 有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同 阅读全文