会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
122建雄
博客园
首页
新随笔
联系
订阅
管理
2018年5月25日
Hadoop综合大作业
摘要: 1.用Hive对爬虫大作业产生的文本文件进行词频统计。 (1)jps查看服务是否启动,然后创建文件夹wwc (2)查看目录下所有文件 (3)把hdfs文件系统中文件夹里的文本文件load进去。 (4)进入hive,并查看所有的表 (5)创建表word,,写hiveQL命令统计 (6)运行结果 2.用
阅读全文
posted @ 2018-05-25 21:32 122建雄
阅读(74)
评论(0)
推荐(0)
2018年5月10日
理解MapReduce
摘要: . 用Python编写WordCount程序并提交任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔 用mapreduce 处理气象数据集 编写程序求每日最高最低气温,区间最
阅读全文
posted @ 2018-05-10 21:34 122建雄
阅读(117)
评论(0)
推荐(0)
2018年5月4日
熟悉常用的HBase操作
摘要: 1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23 2015003
阅读全文
posted @ 2018-05-04 21:55 122建雄
阅读(183)
评论(0)
推荐(0)
2018年4月27日
熟悉常用的HDFS操作
摘要: 一、Hadoop提供的Shell命令完成相同任务: 1.在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. mkdir hadoop 在本地查看文件位置(ls) cd hadoop 在本地显示文件内容 touch test.txt gedit
阅读全文
posted @ 2018-04-27 19:16 122建雄
阅读(127)
评论(0)
推荐(0)
2018年4月24日
爬虫大作业
摘要: 用python 编写爬虫程序,从网络上爬取相关主题的数据 对爬了的数据进行文本分析,生成词云
阅读全文
posted @ 2018-04-24 14:00 122建雄
阅读(123)
评论(0)
推荐(0)
2018年4月11日
使用正则表达式,取得点击次数,函数抽离
摘要: 1. 用正则表达式判定邮箱是否输入正确。 2. 用正则表达式识别出全部电话号码 3用正则表达式进行英文分词 4. 使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数 7. 将456步骤定义成一个函数 def getClickCount(newsUrl): 8.
阅读全文
posted @ 2018-04-11 22:55 122建雄
阅读(153)
评论(0)
推荐(0)
2018年4月3日
爬取校园新闻首页的新闻
摘要: import requests from bs4 import BeautifulSoup from datetime import datetime url="http://news.gzcc.cn/html/xiaoyuanxinwen/" res=requests.get(url) res.encoding="utf-8" soup=BeautifulSoup(res.text,"h...
阅读全文
posted @ 2018-04-03 21:07 122建雄
阅读(197)
评论(0)
推荐(0)
2018年3月26日
综合练习:词频统计
摘要: song = ''' I don't like your little games Don't like your tilted stage The role you made me play of the fool No I don't like you I don't like your perfect crime How you laugh when you lie You said th...
阅读全文
posted @ 2018-03-26 20:32 122建雄
阅读(178)
评论(0)
推荐(0)
2018年3月22日
组合数据类型练习
摘要: 1.字符串 列表是任意对象的序列。列表用方括号表示。 将一组值打包到一个对象中,称为元组。元组用圆括号表示。元组和列表的大部分操作相同。但是,列表是不固定的,可以随时插入,删除;而元组一旦确认就不能够再更改。所以,系统为了列表的灵活性,就需要牺牲掉一些内存;而元组就更为紧凑。 与列表和元组不同,集合
阅读全文
posted @ 2018-03-22 19:14 122建雄
阅读(138)
评论(0)
推荐(0)
2018年3月19日
Python基础综合练习
摘要: from turtle import * def draw(x): begin_fill() for i in range(5): forward(x) right(144) end_fill() def go_to(x,y): up() goto(x, y) down() if __name__ == "_...
阅读全文
posted @ 2018-03-19 21:29 122建雄
阅读(257)
评论(0)
推荐(0)
下一页
公告