摘要： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）词频统计。 在网上下载英文小说，通过QQ邮箱下载到虚拟机的/home/hadoop/wc 首先要启动dfs： 检查配置环境： 在user/hadoop/上创建文件夹word： 上传下载文档到user/hadoop/word 阅读全文

摘要： 1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student）（不包括最后一列） 学号（S_No） 姓名（S_Name） 性别（S_Sex） 年龄（S_Age） 课程（course） 2015001 Zhangsan male 23 2015003 阅读全文

摘要： 主题：爬取新浪新闻中心的国际新闻页面 首先对新浪新闻中心的国际新闻页面进行爬取，获取出第一篇文章标题，时间链接等等，然后进行分析，获取前30个出现次数最多的词语进行排序，最后生成词云。 截图： 本次作业过程中遇到pip install Wordcloud的问题最难，在网上查找安装了两次都没成功，最后 阅读全文

摘要： 向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件； if $(hdfs dfs -test -e hello.txt); then $(hdfs dfs -appendToFile local.txt hello.txt); else 阅读全文

摘要： 1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news news = {} news['title'] = soupd.select('.show-title')[0].text news['newsUrl'] = newsUrl info = 阅读全文

摘要： 1.取出一个新闻列表页的全部新闻 包装成函数。2.获取总的新闻篇数，算出新闻总页数。3.获取全部新闻列表页的全部新闻详情。 4.找一个自己感兴趣的主题，进行数据爬取，并进行分词分析。不能与其它同学雷同。 阅读全文

摘要： 1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文、show-info。 2. 分析info字符串，获取每篇新闻的发布时间，作者，来源，摄影等信息。 3. 将字符串格式的发布时间转换成datetime类型 4. 使用正则表达式取得新闻编号 5. 生成点击 阅读全文

摘要： 练习： 这是练习的HTML文件:net.html 取出h1标签的文本 取出a标签的链接取出所有li标签的所有内容取出第2个li标签的a标签的第3个div标签的属性 取出一条新闻的标题、链接、发布时间、来源 问题：每次requests获取新建的HTML文件时，都要重新用浏览器打开net.html来更新 阅读全文

摘要： 下载一长篇中文文章。从文件读取待分析文本。news = open('gzccnews.txt','r',encoding = 'utf-8')安装与使用jieba进行中文分词。pip install jiebaimport jiebalist(jieba.lcut(news))生成词频统计排序排除语 阅读全文

摘要： # -*- coding：UTF-8 -*-# -*- author：deng -*-news = '''The only problem unconsciously assumed by all Chinese philosophers to be ofany importance is:How 阅读全文