2018年5月25日
Hadoop综合大作业
摘要： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 （1）开启所有的服务，并创建文件夹wwc (2)查看目录下所有文件 （3）把hdfs文件系统中文件夹里的文本文件load进去。 （4）进入hive,并查看所有的表 (5)创建表word,,写hiveQL命令 阅读全文
posted @ 2018-05-25 09:56 201306114455邱雨欣 阅读(86) 评论(0) 推荐(0) 编辑
2018年5月10日
理解MapReduce
摘要： 1. 2.将其权限作出相应修改 3.本机上测试运行代码 4.放到HDFS上运行 a.将之前爬取的文本文件上传到hdfs上 b.用Hadoop Streaming命令提交任务 E.查看运行结果 阅读全文
posted @ 2018-05-10 12:17 201306114455邱雨欣 阅读(172) 评论(0) 推荐(0) 编辑
2018年4月27日
熟悉常用的HDFS操作
摘要： 一、Hadoop提供的Shell命令完成相同任务： 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls） 在本地显示文件内容 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 查 阅读全文
posted @ 2018-04-27 09:18 201306114455邱雨欣 阅读(449) 评论(0) 推荐(0) 编辑
2015年4月1日
爬虫大作业
摘要： # -*- coding: utf-8 -*- #解决编码问题 import urllib import urllib2 import re import os import time page = 1 url = 'http://www.qiushibaike.com/text/page/4/?s=4970196' #爬取的目标网站 user_agent = 'Mozilla/... 阅读全文
posted @ 2015-04-01 15:52 201306114455邱雨欣 阅读(159) 评论(0) 推荐(0) 编辑