摘要： 通过知网可以查到这篇文章。于2020年3月发表在计算机应用研究。 背景 K-means是聚类算法的经典算法。由于运行时，初始聚类中心点和簇数的不确定性，使聚类结果存在很大不稳定性。两个缺点：一是要初始化中心，随机选择，具有不确定性；二是要有几个中心，也具有不确定性。 一般对K-means的改进，是中 阅读全文

摘要： 通过知网下载此篇文章。于2018年7月发表在计算机科学。 引言 大数据平台的执行环境由于受到底层硬件、体系结构、操作系统、Spark框架本身以及用户编写的应用程序等多层次的综合影响。 如果不了解Spark底层复杂的执行机制，就找不到性能瓶颈，也就无法优化。 Spark工作原理 （这里只记录自己觉得需 阅读全文

摘要： 通过知网可以下载这篇文章。是厦门大学唐振坤的硕士学位论文。 背景 本文讲述了基于“统计查询模型”和MapReduce，提出了能适用于海量数据的机器学习算法。随后有人开发出了Mahout机器学习算法库。但是由于Spark的内存计算和Spark Streaming对流数据的处理，MapReduce并不是 阅读全文

摘要： 控制结构 Scala的控制结构有：if、while、for、try、match和函数调用。 if表达式 if可以作为一个返回值，如下面的代码。同时用val，就像Java的final变量一样，一旦初始化就不会改变。 val filename = if (!args.isEmpty) args(0) e 阅读全文

摘要： 这篇文章可以在知网下载，发表时间2020-06-07。以下是个人对这篇文章的阅读笔记和个人感想。 侵删。 背景和简介 通过摘要和介绍，可以了解到Spark的“统一内存管理”模型共分为4层，自上往下分别是Spark层、JVM层、OS层、Hardware层。目前对Spark的性能优化，只停留在某一层。 阅读全文

摘要： 函数式对象 以Rational类为例，以下介绍类参数、构造方法、方法、操作符、私有成员、重写、前置条件检查、重载以及自引用。 不可变对象和可变对象的区别 不可变对象通常比可变对象更容易推理，没有随着时间变化而变化，没有复杂的状态空间。其次，可以自由传递不可变对象。而对于可变对象，在传递之前，需要做保 阅读全文

摘要： 题目 Solve the heart disease problem Here is a small dataset provided by the Cleveland Clinic Foundation for Heart Disease, which are several hundred ro 阅读全文

摘要： 类和对象 在类定义中，有字段filed和方法method，统称为成员member，通过val和var定义字段指定对象的变量。通过def定义方法。（和Python一样）实例一个类后，会指派一些内存来保存对象的状态图。个人理解对通过地址间映射，有一块内存保存值。 对字段声明私有。在var、val前加。不 阅读全文

摘要： 大家可以参考厦门大学数据库实验室这篇博客 虽然说，建立外部表会使用LOCATION指定位置，而建立内部表不使用LOCATION，会默认保存在/hive/warehouse/下，自动生成一个目录，目录名为表名。 但是通过一系列对比，我们可以发现，这两个参数之间是没有关系的。 我们可以建立外部表，不使用 阅读全文

摘要： 学习《Scala编程》（第三版）的学习笔记。 一门可伸缩的语言 Scala，源于"scalable language"，可伸缩的语言。从技术上来看，Scala是一门综合了面向对象和函数式编程概念的静态类型的编程语言。很适合编写将Java组件组装在一起的脚本。 在Scala中，面向对象的实现是纯的：每 阅读全文