zhoulonghai

摘要： 寒假学习记录20 问题（已解决）： 用SSH Secure File Transfer Client连接虚拟机报一下错误： The host '192.168.1.12' is unreachable. the host may be down..... 解决方式： 1.查看虚拟机ssh是否开启； 阅读全文

摘要： 寒假学习记录19 实验 7 Spark 机器学习库 MLlib 编程实践 一、实验目的 （1）通过实验掌握基本的 MLLib 编程方法； （2）掌握用 MLLib 解决一些常见的数据分析问题，包括数据导入、成分分析和分类和 预测等。 二、实验平台 操作系统：Ubuntu16.04 JDK 版本：1. 阅读全文

摘要： 寒假学习记录18 实验 6 Spark Streaming 编程初级实践 一、实验目的 （1）通过实验学习日志采集工具 Flume 的安装和使用方法； （2）掌握采用 Flume 作为 Spark Streaming 数据源的编程方法。 二、实验平台 操作系统： Ubuntu16.04 Spark 阅读全文

摘要： 寒假学习记录17 实验 5 Spark SQL 编程初级实践 一、实验目的 （1）通过实验掌握 Spark SQL 的基本编程方法； （2）熟悉 RDD 到 DataFrame 的转化方法； （3）熟悉利用 Spark SQL 管理来自不同数据源的数据。 二、实验平台 操作系统： Ubuntu16. 阅读全文

摘要： 寒假学习记录16 实验 4 RDD 编程初级实践 一、实验目的 （1）熟悉 Spark 的 RDD 基本操作及键值对操作； （2）熟悉使用 RDD 编程解决实际具体问题的方法。 二、实验平台 操作系统：Ubuntu16.04 Spark 版本：2.1.0 三、实验内容和要求 1．spark-shel 阅读全文

摘要： 寒假学习记录15 实验 3 Spark 和 Hadoop 的安装 一、实验目的 （1）掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法； （2）熟悉 HDFS 的基本使用方法； （3）掌握使用 Spark 访问本地文件和 HDFS 文件的方法。 二、实验平台 操作系统：Ubun 阅读全文

摘要： 寒假学习记录14 实验 2 Scala 编程初级实践 一、实验目的 1.掌握 Scala 语言的基本语法、数据结构和控制结构； 2.掌握面向对象编程的基础知识，能够编写自定义类和特质； 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构，熟练使用常用的容 阅读全文

摘要： 寒假学习记录13 学习任务： 1.python基础：函数 调用abs函数求绝对值： 数据类型转换函数： 定义函数：定义一个函数要使用def语句，依次写出函数名、括号、括号中的参数和冒号:，然后，在缩进块中编写函数体，函数的返回值用return语句返回。 如果想定义一个什么事也不做的空函数，可以用pa 阅读全文

摘要： 寒假学习记录12 学习任务： 1.python基础 （1）dict Python内置了字典：dict的支持，dict全称dictionary，在其他语言中也称为map，使用键-值（key-value）存储，具有极快的查找速度。 把数据放入dict的方法，除了初始化时指定外，还可以通过key放入，由于 阅读全文

摘要： 寒假学习记录11 任务： 1.主机与虚拟机文件互传 使用SSH Secure Shell Client进行主机与虚拟机互传文件 参考教程：https://blog.csdn.net/xbzlxtz/article/details/53099654 遇到问题： (1)the host ‘10.1.2. 阅读全文