摘要:
1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计,结果放在表word_count里 查看统 阅读全文
摘要:
2. 用mapreduce 处理气象数据集 编写程序求每日最高最低气温,区间最高最低气温 气象数据集下载地址为:ftp://ftp.ncdc.noaa.gov/pub/data/noaa 按学号后三位下载不同年份月份的数据(例如201506110136号同学,就下载2013年以6开头的数据,看具体数 阅读全文
摘要:
1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 2. 用Hadoop提供的HBase Shell命令完成相同任务: 列出HBase所有的表的相关信息;list list 在终端打印出学生表的所有记录数据; scan 阅读全文
摘要:
一、Hadoop提供的Shell命令完成相同任务: 一、Hadoop提供的Shell命令完成相同任务: cd /home/hadoop/ touch test.txt cat temp.txt cd /home/hadoop/ touch test.txt cat temp.txt 4.使用命令把本 阅读全文
摘要:
选一个自己感兴趣的主题或网站。 2.用python 编写爬虫程序,从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析,生成词云。 4.对文本分析结果进行解释说明。 5.写一篇完整的博客,描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6.最后提交爬取的全部数据、爬虫及数据分析源 阅读全文
摘要:
import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport reimport pandas #获取点击次数def getClickCount(newsUrl): newId=re.search('\_ 阅读全文
摘要:
1.import re;def isEmailAccount(str): if(re.match("\w*@\w*(\.\w{2,3}){1,3}$",str)): return True else: return Falseprint(isEmailAccount('123sdf_sd@qq.co 阅读全文
摘要:
1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文。 import requests from bs4 import BeautifulSoup url = 'http://news.gzcc.cn/html/xiaoyuanxinwen/' res = 阅读全文
摘要:
0.可以新建一个用于练习的html文件,在浏览器中打开。 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <h1>This is the docume 阅读全文
摘要:
1.组合数据类型练习: 分别定义字符串,列表,元组,字典,集合,并进行遍历 a = "You are a bad boy" b = "12345" # 字符串 str0 = a; print("字符串:", str0) for i in str0: print(i) # 列表 str1 = a.sp 阅读全文