会员
周边
新闻
博问
AI培训
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
201306114455邱雨欣
博客园
首页
新随笔
联系
订阅
管理
2018年5月25日
Hadoop综合大作业
摘要: 1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 (1)开启所有的服务,并创建文件夹wwc (2)查看目录下所有文件 (3)把hdfs文件系统中文件夹里的文本文件load进去。 (4)进入hive,并查看所有的表 (5)创建表word,,写hiveQL命令
阅读全文
posted @ 2018-05-25 09:56 201306114455邱雨欣
阅读(86)
评论(0)
推荐(0)
编辑
2018年5月10日
理解MapReduce
摘要: 1. 2.将其权限作出相应修改 3.本机上测试运行代码 4.放到HDFS上运行 a.将之前爬取的文本文件上传到hdfs上 b.用Hadoop Streaming命令提交任务 E.查看运行结果
阅读全文
posted @ 2018-05-10 12:17 201306114455邱雨欣
阅读(172)
评论(0)
推荐(0)
编辑
2018年4月27日
熟悉常用的HDFS操作
摘要: 一、Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置(ls) 在本地显示文件内容 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 查
阅读全文
posted @ 2018-04-27 09:18 201306114455邱雨欣
阅读(449)
评论(0)
推荐(0)
编辑
2015年4月1日
爬虫大作业
摘要: # -*- coding: utf-8 -*- #解决编码问题 import urllib import urllib2 import re import os import time page = 1 url = 'http://www.qiushibaike.com/text/page/4/?s=4970196' #爬取的目标网站 user_agent = 'Mozilla/...
阅读全文
posted @ 2015-04-01 15:52 201306114455邱雨欣
阅读(159)
评论(0)
推荐(0)
编辑
公告