摘要: 1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 在网上下载英文小说,下载到本地home/hadoop/wc 首先要启动dfs: 2.在user/hadoop/上创建文件夹EnglishWord: 3.上传下载文档到user/hadoop/EnglishW 阅读全文
posted @ 2018-05-25 20:13 110林博 阅读(86) 评论(0) 推荐(0) 编辑
摘要: 用Python编写WordCount程序并提交任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔 放到HDFS上运行 2. 用mapreduce 处理气象数据集 编写程序求每 阅读全文
posted @ 2018-05-10 21:57 110林博 阅读(101) 评论(0) 推荐(0) 编辑
摘要: 一、Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置(ls) 在本地显示文件内容 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 查 阅读全文
posted @ 2018-04-27 20:59 110林博 阅读(145) 评论(0) 推荐(0) 编辑
摘要: #coding:utf-8 from lib2to3.pgen2.grammar import line __author__ = 'hang' import warnings warnings.filterwarnings("ignore") import jieba #分词包 import numpy #numpy计算包 import re import pandas as ... 阅读全文
posted @ 2018-04-24 09:50 110林博 阅读(121) 评论(0) 推荐(0) 编辑
摘要: 1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3. 安装pandas,用pand 阅读全文
posted @ 2018-04-16 20:59 110林博 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 1. 用正则表达式判定邮箱是否输入正确。 2. 用正则表达式识别出全部电话号码。 3. 用正则表达式进行英文分词。 4. 使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数 阅读全文
posted @ 2018-04-09 19:12 110林博 阅读(79) 评论(0) 推荐(0) 编辑
摘要: 1. 爬取校园新闻首页新闻的标题、链接、正文。 2 分析字符串,获取每篇新闻的发布时间,作者,来源,摄影等信息 3. 将其中的发布时间由str转换成datetime类型。 阅读全文
posted @ 2018-04-02 11:45 110林博 阅读(107) 评论(0) 推荐(0) 编辑
摘要: 1.利用requests.get(url)获取网页页面的html文件 import requests newsurl='http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get(newsurl) #返回response对象 res.en 阅读全文
posted @ 2018-03-29 19:28 110林博 阅读(99) 评论(0) 推荐(0) 编辑
摘要: 1 #-*- coding:UTF-8 -*- # -*- author:Duym -*- wordList=news.lower().split() for w in wordList: print(w) the area of green was reducing in the last decades 2 sep=''',."?!:''' for c in ... 阅读全文
posted @ 2018-03-26 11:36 110林博 阅读(118) 评论(0) 推荐(0) 编辑
摘要: 1.组合数据类型练习: 分别定义字符串,列表,元组,字典,集合,并进行遍历。 字符串,并进行遍历。: 列表,并进行遍历。: 元组,并进行遍历。: 字典,并进行遍历: 集合,并进行遍历: 总结列表,元组,字典,集合的联系与区别。 (1)列表是任意对象的序列。列表用方括号表示。 (2)将一组值打包到一个 阅读全文
posted @ 2018-03-22 20:42 110林博 阅读(283) 评论(0) 推荐(0) 编辑