摘要：
1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统 阅读全文
posted @ 2018-05-25 20:17
120林海鑫
阅读(84)
评论(0)
推荐(0)
摘要：
2. 用mapreduce 处理气象数据集 编写程序求每日最高最低气温，区间最高最低气温 气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa 按学号后三位下载不同年份月份的数据（例如201506110136号同学，就下载2013年以6开头的数据，看具体数 阅读全文
posted @ 2018-05-09 21:08
120林海鑫
阅读(80)
评论(0)
推荐(0)
摘要：
1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student）（不包括最后一列） 2. 用Hadoop提供的HBase Shell命令完成相同任务： 列出HBase所有的表的相关信息；list list 在终端打印出学生表的所有记录数据； scan 阅读全文
posted @ 2018-05-09 20:36
120林海鑫
阅读(104)
评论(0)
推荐(0)
摘要：
一、Hadoop提供的Shell命令完成相同任务： 一、Hadoop提供的Shell命令完成相同任务： cd /home/hadoop/ touch test.txt cat temp.txt cd /home/hadoop/ touch test.txt cat temp.txt 4.使用命令把本 阅读全文
posted @ 2018-04-27 21:50
120林海鑫
阅读(244)
评论(0)
推荐(0)
摘要：
选一个自己感兴趣的主题或网站。 2.用python 编写爬虫程序，从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析，生成词云。 4.对文本分析结果进行解释说明。 5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6.最后提交爬取的全部数据、爬虫及数据分析源 阅读全文
posted @ 2018-04-25 00:25
120林海鑫
阅读(157)
评论(0)
推荐(0)
摘要：
import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport reimport pandas #获取点击次数def getClickCount(newsUrl): newId=re.search('\_ 阅读全文
posted @ 2018-04-17 19:46
120林海鑫
阅读(106)
评论(0)
推荐(0)
摘要：
1.import re;def isEmailAccount(str): if(re.match("\w*@\w*(\.\w{2,3}){1,3}$",str)): return True else: return Falseprint(isEmailAccount('123sdf_sd@qq.co 阅读全文
posted @ 2018-04-09 21:55
120林海鑫
阅读(69)
评论(0)
推荐(0)
摘要：
1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。 import requests from bs4 import BeautifulSoup url = 'http://news.gzcc.cn/html/xiaoyuanxinwen/' res = 阅读全文
posted @ 2018-04-02 20:09
120林海鑫
阅读(180)
评论(0)
推荐(0)
摘要：
0.可以新建一个用于练习的html文件，在浏览器中打开。 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <h1>This is the docume 阅读全文
posted @ 2018-04-02 20:01
120林海鑫
阅读(85)
评论(0)
推荐(0)
摘要：
1.组合数据类型练习： 分别定义字符串，列表，元组，字典，集合，并进行遍历 a = "You are a bad boy" b = "12345" # 字符串 str0 = a; print("字符串：", str0) for i in str0: print(i) # 列表 str1 = a.sp 阅读全文
posted @ 2018-03-26 20:49
120林海鑫
阅读(85)
评论(0)
推荐(0)
浙公网安备 33010602011771号