Evak

摘要： 问题分析： 对sbt版本结果没有影响，但是会影响后续的打包编译！！！！要命、 解决方法： 运行命令：sudo gedit ~/.bashrc 最后一行添加：TERM="${TERM/xterm-256color/xterm-color" 最后：source ~/.bashrc 实验结果： OK,sb 阅读全文

摘要： 文件的存取都是在hdfs内完成 （一）数据去重： 程序： 操作： 结果： （二）求平均值 程序： 操作： 结果： 阅读全文

摘要： 在idea上使用Maven来添加依赖的jar包 发现无法下载jar包 总是提示某几个包下载失败 最后发现原因有两个（版本与网速的问题 对应解决如下） 一主要是因为版本的问题 我的idea是2019年1月份的 然后下载的maven是最新的3.6.3 经过各种搜索好像是因为版本不兼容然后引起的问题可以通 阅读全文

摘要： 这两天补充解决了几个问题 IDEA创建maven项目无javahttps://www.cnblogs.com/zzstdruan1707-4/p/12275328.html IDEA无法下载通过maven添加的jar包以及下载网速过慢https://www.cnblogs.com/zzstdruan 阅读全文

摘要： 今天根据之前的爬取的相关的数据进行饿了，javaweb+echarts的可视化展示，用到了折线图柱状图，饼图，这几个图相对来说比较简单完成了相关的校验以及相关数据的整合，数据从mysql中进行读取。 今天的所做的效果，完成了一小部分的图表联动，之后将完成spark实验以及爬取热词的大作业。 可视化展 阅读全文

摘要： 之前发了一些相关spark的相关学习，今天学习了下Scala语言，Scala是一门编程语言，学习Scala语言有助于学习spark大数据处理，在学习的同时完成了eclipse的Scala的环境搭建，以及写了一个简单的实验二，的一小部分就是编写了一个简单的算法，这个程序没用很长时间，主要是环境搭建耗费 阅读全文

摘要： 第七天学习打卡，今天根据昨天的爬取的数据，进行了一些的清洗工作，并将其导入到了MySQL数据库中，文档中的相关hive操作，我是用视图来完善相关的内容。 数据清洗，根据相关的内容之后我将使用javaweb+echarts来完成相关的数据可视化操作。之后尽快完成进一步左热刺分析爬取。清洗结果： 阅读全文

摘要： 第六天打卡，今天继续上次的网页爬取的内容，上次分析了相关的参数内容，这次我在网上查找了相关的爬虫请求ajax的请求，完成数据的爬取。 其中我才用的是scrapy 的爬虫模板来进行的爬取相关的网页，其中遇到了一些问题通过询问同学以及上网查询，最收取到了相关的信息。 爬取源代码： import json 阅读全文

摘要： 今天主要学习了scala基本语法，并完成了scala实验1 2 1.请用脚本的方式编程计算并输出下列级数的前 n 项之和 Sn，直到 Sn 刚好大于或等于 q为止，其中 q 为大于 0 的整数，其值通过键盘输入。 Sn = 2/1+3/2+4/3+......+n+1/n 例如，若 q 的值为 50 阅读全文

摘要： 实验2-Scala编程初级实践 实验目的： 掌握 Scala 语言的基本语法、数据结构和控制结构； 掌握面向对象编程的基础知识，能够编写自定义类和特质； 掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本层次结构，熟练使用常用的容器类进行数据； 熟练掌握 Scala  阅读全文