李胜明

摘要： 使用 netcat 数据源测试 Flume 请对 Flume 的相关配置文件进行设置，从而可以实现如下功能：在一个 Linux 终端（这 里称为“Flume 终端”）中，启动 Flume，在另一个终端（这里称为“Telnet 终端”）中， 输入命令“telnet localhost 44444”，然 阅读全文

摘要： ‘今天做了实验五 编程实现将 RDD 转换为 DataFrame 源文件内容如下（包含 id,name,age）： 1,Ella,36 2,Bob,29 3,Jack,29 请将数据复制保存到 Linux 系统中，命名为 employee.txt，实现从 RDD 转换得到 DataFrame，并按“ 阅读全文

摘要： 今天学习了Scala 方法与函数 Scala 有方法与函数，二者在语义上的区别很小。Scala 方法是类的一部分，而函数是一个对象可以赋值给一个变量。换句话来说在类中定义的函数即是方法。 Scala 中的方法跟 Java 的类似，方法是组成类的一部分。 Scala 中的函数则是一个完整的对象，Sca 阅读全文

摘要： 今天了解了Scala 基础字面量 Scala 非常简单且直观。接下来我们会详细介绍 Scala 字面量。 整型字面量 整型字面量用于 Int 类型，如果表示 Long，可以在数字后面添加 L 或者小写 l 作为后缀。： 0 035 21 0xFFFFFFFF 0777L 浮点型字面量 如果浮点数后面 阅读全文

摘要： 今天在菜鸟教程学习了Scala的基本语法 Scala 基本语法需要注意以下几点： 区分大小写 - Scala是大小写敏感的，这意味着标识Hello 和 hello在Scala中会有不同的含义。 类名 - 对于所有的类名的第一个字母要大写。如果需要使用几个单词来构成一个类的名称，每个单词的第一个字母要 阅读全文

摘要： .编写独立应用程序实现求平均值问题 每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生 名字，第二个是学生的成绩；编写 Spark 独立应用程序求出所有学生的平均成绩，并输出到 一个新文件中。下面是输入文件和输出文件的一个样例，供参考。 Algorithm 成绩： 小明 9 阅读全文

摘要： 编写独立应用程序实现数据去重 对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其 中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。 输入文件 A 的样例如下： 20170101 x 20170102 y 20170103 x 20 阅读全文

摘要： spark-shell 交互式编程 请到本教程官网的“下载专区”的“数据集”中下载 chapter5-data1.txt，该数据集包含 了某大学计算机系的成绩，数据格式如下所示： Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,Da 阅读全文

摘要： Spark 读取文件系统的数据 （1）在 spark-shell 中读取 Linux 系统本地文件“/home/hadoop/test.txt”，然后统计出文 件的行数； （2）在 spark-shell 中读取 HDFS 系统文件“/user/hadoop/test.txt”（如果该文件不存在， 阅读全文

摘要： 今天进行了Spark的安装。 1.1 下载安装包进入Scala下载页面，下拉，找到tgz包 右击，复制链接如下https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz在master的命令行中输入：wget https://down 阅读全文