九离

摘要： 今天结合之前找的资料以及询问同学，我在百度百科中找到了一个科学技术的分类，里面是信息技术领域的一些热词，今天完成了相关任务的爬取。 首先是原网页：https://baike.baidu.com/wikitag/taglist?tagId=76607 然后检查该网页，发现其实用post发送的ajax请 阅读全文

摘要： 今天参照网上资料完成了相关的sql编程，其中遇到了一些问题，稍后给大家说。 除了实验五的sql编程我还写了一些的实验六的内容，实验六完成的只剩下最高后一部分。 1．Spark SQL 基本操作 (1) 查询所有数据； (2) 查询所有数据，并去除重复的数据； (3) 查询所有数据，打印时去除 id 阅读全文

摘要： 今天看了一些关于spark sql的内容，看的有点懵不知道怎么操作，只知道了一些简单的内容，明天我将在看一遍相关的内容完成相关的实验，连接spark连接mysql进行操作。 初次之外还想了一下相关的热刺分析，这个不知道如何进行爬取，还是不太熟悉这个相关的内容，之后将考虑下者类的内容。 阅读全文

摘要： 今天完成了RDD的相关实验还是使用Scala来进行相关的效果，RDD是spark的数据集，通过spark-shell编程我知道了相关spark的语言，还是有很多不足之处。 spark交互式编程相关的就不写了，给出今天我编译的相关独立应用程序编程。 编写独立应用程序实现数据去重 对于两个输入文件 A 阅读全文

摘要： 今天按照实验三进行了相关的操作，实验三之前的是关于hadoop 以及hdfs的相关命令的使用，也包括Hadoop以及spark的安装，我之前就已经完成了相关环境的配置，所以我今天直接做了实验三中的spark shell命令的一部分，今天编程的部分因为之前理解了scala的一些编程方法所以今天进行的很 阅读全文

摘要： 几天完成了实验二，将实验二Scala的相关内容完成了一下，涉及到Scala语言的相关函数的用法等，涉及到很多，明天完成实验三hdfs的内容，实验三的内容之前就了解过所以说明天抓紧应该可以写到实验四，尽快完成spark的相关实验，将实验报告整理出来，完成相关的爬取数据的大作业工作。 package c 阅读全文

摘要： 今天深入了解了下scala，之前一直不理解学习spark和scala，今天了解了一下scala，Scala是一门编程语言，可以运行在Java的虚拟机上，而spark是用Scala开发的所以学习spark先学习Scala可以更容易理解spark。 今天在eclipse上安装了Scala相关环境，以及学 阅读全文

摘要： 今天在昨天的基础上实现了两部分的图表联动，最后一个需求需要设置一些东西，将于明天完成图标联动功能。图标联动我的做法是首先点击表格中的数据来实现更新表中的数据，这种方法能实现简单的图标联动，但是我认为大数据的图标联动实现的时间就比较长了。 点击表格中的数量栏将相应图中的点高亮显示。 同样是点击数量栏 阅读全文

摘要： 今天因为事情有点耽误了，就是今天研究了下图标联动。我的想法是当点击表格内容时候触发js事件，通过js影响图标的高亮，现在我找到了相关的点解表格很简单，现在目前在寻找相关的内容来完成相关的联动。 明天将继续完善这个图标联动。 阅读全文

摘要： 昨天我将一个数据的可视化完成，以及数据清洗出来了，今天完成了数据的简单可视化，之后将进行对echarts图表的操作，（图表联动，美化图表）等操作。 今天成果展示： 饼图： 柱状图： 这两个的代码基本和之前的一样，是在原来的基础上更新的。 源代码： <%@ page language="java" c 阅读全文