郑先森Z_z

摘要： 今天主要学习实验五中编程实现利用DataFrame读写Mysql的数据。 (1) 在 MySQL 数据库中新建数据库 sparktest，新建表 employee，插入两行数据 配置Spark通过jdbc来连接mysql数据库进行读写操作。 插入如表 6-3 所示的两行数据到 MySQL 中，最后打 阅读全文

摘要： 今天主要完成实验五的剩余部分， 一、编程实现将 RDD 转换为 DataFrame 源文件内容如下（包含 id,name,age）： 1,Ella,36 2,Bob,29 3,Jack,29 请将数据复制保存到 Linux 系统中，命名为 employee.txt，实现从 RDD 转换得到 Data 阅读全文

摘要： 今天进行实验五，主要学习了spark sql的基本操作，其相对于其他的sql语句（mysql，hive sql等）有很大差别，其可以为某个数据数组或者结构数组等创建DataFrame，通过DataFrame来对数据进行各种操作，包括查询，去重，筛选，分组，排序等等。 1．Spark SQL 基本操作 阅读全文

摘要： 今天继续进行spark实验4RDD编程初级实践，对于shell交互式编程，其中包含几种计算方法。 1．spark-shell 交互式编程 请到本教程官网的“下载专区”的“数据集”中下载 chapter5-data1.txt，该数据集包含 了某大学计算机系的成绩，数据格式如下所示： Tom,DataB 阅读全文

只有注册用户登录后才能阅读该文。 阅读全文

摘要： 今天完成了实验一和实验二，主要内容为实验二，对于scala的语法的实践编程应用 1. 计算级数 请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q 为止，其中 q 为大于 0 的整数，其值通过键盘输入。 例 如 ， 若 q 的 值 为 50.0 ， 则 输 出 阅读全文

摘要： 今天在虚拟机的eclipse中部署scala插键发现虚拟机还是一如既往的卡，于是把eclipse部署在windows系统中，然后调用虚拟机中hadoop环境，设置参考博客园： https://www.cnblogs.com/lzq666/p/9955718.html 在迁移中出现如下问题： 1. 问 阅读全文

摘要： 今天通过菜鸟教程中Scala教程https://www.runoob.com/scala/scala-intro.html来初步学习Scala语言，并且安装了scala Scala 是 Scalable Language 的简写，是一门多范式的编程语言。Scala也是一种函数式语言，其函数也能当成值 阅读全文

摘要： 假期的前段时间对于上学期的大数据稍微做了总结，对可视化工具echarts参照b站学习了几节。 接下来的假期将学习spark。 今天将spark安装完成，并且在大学生mooc上将其spark的一章视频学习完。其分为6小节。 Spark概述，spark生态系统，spark运行架构，spark sql，s 阅读全文

摘要： 由于之前用jdbc连接hive连接失败，这次改用直接用HQL语句来完成任务，之前的连接失败还未解决 之前第一阶段已经将文档清洗完毕，包括转化日期格式，去掉逗号等操作 现通过HQL命令完成题目： 2、数据处理： ·统计最受欢迎的视频/文章的Top10访问次数 （video/article） ·按照地市 阅读全文