Hadoop综合大作业

摘要: 1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 启动hadoop: 1 2 start-all.sh jps 1 2 start-all.sh jps 1 2 start-all.sh jps start-all.sh jps 查看hdfs上的文件夹: 阅读全文
posted @ 2018-05-25 19:48 176张宇健 阅读(131) 评论(0) 推荐(0) 编辑

hive基本操作与应用

摘要: 通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计,结果放在表word_count里 查看统计结果 阅读全文
posted @ 2018-05-16 21:02 176张宇健 阅读(86) 评论(0) 推荐(0) 编辑

用mapreduce 处理气象数据集

摘要: 用mapreduce 处理气象数据集 编写程序求每日最高最低气温,区间最高最低气温 阅读全文
posted @ 2018-05-09 21:41 176张宇健 阅读(320) 评论(0) 推荐(0) 编辑

熟悉常用的HBase操作

摘要: 1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23 2015003 阅读全文
posted @ 2018-05-08 21:46 176张宇健 阅读(192) 评论(0) 推荐(0) 编辑

爬虫大作业

摘要: import requests, re, jieba,pandas from bs4 import BeautifulSoup from datetime import datetime from wordcloud import WordCloud import matplotlib.pyplot as plt # 获取新闻细节 def getNewsDetail(newsUrl): ... 阅读全文
posted @ 2018-04-30 16:29 176张宇健 阅读(157) 评论(0) 推荐(0) 编辑

熟悉常用的HDFS操作

摘要: 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置(ls) 在本地显示文件内容 cd /usr/local/hadoop touch yj.txt //此处编辑yj.txt cat yj.txt 使用命令把本地文件系统中的 阅读全文
posted @ 2018-04-25 18:29 176张宇健 阅读(139) 评论(0) 推荐(0) 编辑

数据结构化与保存

摘要: import requests from bs4 import BeautifulSoup from datetime import datetime import re import pandas news_list = [] def crawlOnePageSchoolNews(page_url): res0 = requests.get(page_url) res0.... 阅读全文
posted @ 2018-04-12 20:10 176张宇健 阅读(224) 评论(0) 推荐(0) 编辑

获取全部校园新闻

摘要: 1.取出一个新闻列表页的全部新闻 包装成函数。 2.获取总的新闻篇数,算出新闻总页数。 3.获取全部新闻列表页的全部新闻详情。 4.找一个自己感兴趣的主题,进行数据爬取,并进行分词分析。不能与其它同学雷同。 阅读全文
posted @ 2018-04-11 20:12 176张宇健 阅读(141) 评论(0) 推荐(0) 编辑

爬取校园新闻首页的新闻

摘要: import requests from bs4 import BeautifulSoup from datetime import datetime import re res = requests.get('http://news.gzcc.cn/html/xiaoyuanxinwen/') res.encoding = 'utf-8' soup = BeautifulSoup(res.te... 阅读全文
posted @ 2018-04-09 20:28 176张宇健 阅读(85) 评论(0) 推荐(0) 编辑

网络爬虫基础练习

摘要: import requests from bs4 import BeautifulSoup res = requests.get('http://www.people.com.cn/') res.encoding = 'UTF-8' soup = BeautifulSoup(res.text, 'html.parser') # 取出h1标签的文本 for h1 in soup.find_all... 阅读全文
posted @ 2018-03-29 20:51 176张宇健 阅读(88) 评论(0) 推荐(0) 编辑