摘要： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 查看文档内容: 启动hadoop生态环境: 创建文件夹并查看： 移动文件： 启动hive： 创建数据库+表： （中间有长串警告信息，省略） 进行词频统计： 结果： 2.用Hive对爬虫大作业产生的csv文件 阅读全文

摘要： 1. 用Python编写WordCount程序并提交任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 4.放到HDFS上运行 5.查看运行结果 阅读全文

摘要： 一、Hadoop提供的Shell命令完成相同任务： 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls） 在本地显示文件内容 cd /usr/local/hadoop touch hello.txt cat hell 阅读全文

摘要： 1.选一个自己感兴趣的主题或网站。(所有同学不能雷同) 源地址：http://www.18ladys.com/ 2.用python 编写爬虫程序，从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析，生成词云。 图3-1 爬虫小程序的词云 4.对文本分析结果进行解释说明。 因为爬取的是各个中药 阅读全文

摘要： import requests from bs4 import BeautifulSoup from datetime import datetime import re import pandas #==================================================================== #3-1. 将新闻的正文内容保存到文本文件。 #====... 阅读全文

摘要： 1.源代码import requests from bs4 import BeautifulSoup from datetime import datetime import re #==================================================================== #2-7. 将456步骤定义成一个函数 def getClickCount... 阅读全文

摘要： 1.作业代码import requests from bs4 import BeautifulSoup from datetime import datetime #======================================================================== #1.用requests库和BeautifulSoup库，爬取校园新闻首页新闻... 阅读全文

摘要： 一、有关知识 1.利用requests.get(url)获取网页页面的html文件 import requests newsurl='http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get(newsurl) #返回response对象 阅读全文

摘要： 2.源文章： 3.测试结果： 阅读全文

摘要： 1.分别定义字符串，列表，元组，字典，集合，并进行遍历。 #字符串 sstring='hello~python!' print(sstring) #列表 elist=['abcd',786,2.23,'runtonight',70.2] print(elist[0:]) #元组 etuple=('a 阅读全文