摘要: 要求: 1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 下载长篇英语小说 上传到hdfs上 启动hive 查看分析统计结果 2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。 阅读全文
posted @ 2018-05-24 19:04 225倪伟锐 阅读(95) 评论(0) 推荐(0) 编辑
摘要: 1.启动hadoop start-all.sh 2.Hdfs上创建文件夹 hdfs dfs -mkdir wcinput hdfs dfs -ls /user/hadoop 3.上传文件至hdfs hdfs dfs -put ./509.txt wcinput hdfs dfs -ls /user/ 阅读全文
posted @ 2018-05-16 22:36 225倪伟锐 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 1.选一个自己感兴趣的主题(所有人不能雷同)。 2.用python 编写爬虫程序,从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析,生成词云。 4.对文本分析结果进行解释说明。 5.写一篇完整的博客,描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6.最后提交爬取的全部数据、 阅读全文
posted @ 2018-04-30 15:38 225倪伟锐 阅读(375) 评论(0) 推荐(0) 编辑
摘要: 一、Hadoop提供的Shell命令完成相同任务: 阅读全文
posted @ 2018-04-27 14:31 225倪伟锐 阅读(146) 评论(0) 推荐(0) 编辑
摘要: 1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文。 2. 分析字符串,获取每篇新闻的发布时间,作者,来源,摄影等信息。 3. 将其中的发布时间由str转换成datetime类型。 4. 将完整的代码及运行结果截图发布在作业上。 阅读全文
posted @ 2018-04-03 21:55 225倪伟锐 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 1 import turtle 2 3 4 def mygoto(x,y): 5 turtle.up() 6 turtle.goto(x,y) 7 turtle.down() 8 9 10 def drawstar(l): 11 turtle.fillcolor('yellow') 12 turtl 阅读全文
posted @ 2018-03-20 17:40 225倪伟锐 阅读(628) 评论(0) 推荐(0) 编辑
摘要: 请按要求上机实践如下linux基本命令。 cd命令:切换目录 (1)切换到目录 /usr/local cd /usr/local (2)去到目前的上层目录 cd .. (3)回到自己的主文件夹 cd ~ ls命令:查看文件与目录 (4)查看目录/usr下所有的文件 cd /usr ls -a mkd 阅读全文
posted @ 2018-03-13 16:33 225倪伟锐 阅读(134) 评论(0) 推荐(0) 编辑
摘要: 1.试述大数据对思维方式的重要影响。 在方法论的层面,大数据是一种全新的思维方式。按照大数据的思维方式,我们做事情的方式与方法需要从根本上改变。 要说清楚大数据思维的重要性,需要先回顾一下自17世纪以来一直指导我们曰常做事行为的先前最重要的一种思维方式一一机械思维。今天说起机械思维,很多人马上想到的 阅读全文
posted @ 2018-03-06 16:13 225倪伟锐 阅读(143) 评论(0) 推荐(0) 编辑
摘要: 根据之前定义的语法采用C语言实现语法分析。 阅读全文
posted @ 2016-12-21 22:40 225倪伟锐 阅读(611) 评论(0) 推荐(0) 编辑
摘要: ⑴<C语言程序>——〉begin<语句串>end ⑵<语句串>——〉<语句>{;<语句>} ⑶<语句>——〉<赋值语句> ⑷<赋值语句>——〉ID:=<表达式> ⑸<表达式>——〉<项>{+<项> | -<项>} ⑹<项>——〉<因子>{*<因子> | /<因子> ⑺<因子>——〉ID | NUM 阅读全文
posted @ 2016-10-27 19:44 225倪伟锐 阅读(694) 评论(0) 推荐(0) 编辑