2023年10月29日
finalshell在sbt安装目录中使用下面命令创建一个Shell脚本文件，用于启动sbt：
摘要： finalshell在sbt安装目录中使用下面命令创建一个Shell脚本文件，用于启动sbt： vim /usr/local/sbt/sbt language-bash 该脚本文件中的代码如下： #!/bin/bash SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX: 阅读全文
posted @ 2023-10-29 21:37 STDU_DREAM 阅读(343) 评论(0) 推荐(0)
作业5 MapReduce
摘要： 词频统计任务编程实践，任务要求：在Linux系统本地创建两个文件，即文件wordfile1.txt和wordfile2.txt，文件wordfile1.txt的内容格式如下，需要将zhangsan换成自己名字的英文全拼： zhangsan loves Spark zhangsan loves Had 阅读全文
posted @ 2023-10-29 21:34 STDU_DREAM 阅读(44) 评论(0) 推荐(0)
作业6 数据仓库Hive
摘要： 请在以下两题中任选一题作答，其中第一题编程实践满分30，第二题应用调查满分20（1）编程实践：参考教程https://dblab.xmu.edu.cn/blog/4309/，编写HiveQL语句实现WordCount算法，在input文件夹中创建两个测试文件file1.txt和file2.txt，然 阅读全文
posted @ 2023-10-29 21:33 STDU_DREAM 阅读(25) 评论(0) 推荐(0)
任意选择以下一种方式通过Spark API 编写一个独立应用程序。
摘要： 任意选择以下一种方式通过Spark API 编写一个独立应用程序。 （一）使用sbt对Scala独立应用程序进行编译打包 （二）使用Maven对Java独立应用程序进行编译打包 （三）使用Maven对Scala独立应用程序进行编译打包 阅读全文
posted @ 2023-10-29 21:30 STDU_DREAM 阅读(50) 评论(0) 推荐(0)