会员
周边
新闻
博问
AI培训
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
黄宋佳
博客园
|
首页
|
新随笔
|
新文章
|
联系
|
订阅
|
管理
2018年5月25日
Hadoop综合大作业
摘要: 1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 启动hadoop: 1 2 start-all.sh jps 1 2 start-all.sh jps 1 2 start-all.sh jps start-all.sh jps 查看hdfs上的文件夹:
阅读全文
posted @ 2018-05-25 19:25 231黄宋佳
阅读(104)
评论(0)
推荐(0)
编辑
2018年5月17日
hive基本操作与应用
摘要: 通过hadoop上的hive完成WordCount 启动hadoop 1 start-all.sh 1 start-all.sh 1 start-all.sh 1 start-all.sh start-all.sh Hdfs上创建文件夹 1 2 hdfs dfs -mkdir songinput h
阅读全文
posted @ 2018-05-17 21:02 231黄宋佳
阅读(133)
评论(0)
推荐(0)
编辑
2018年5月10日
理解MapReduce计算构架
摘要: 用Python编写WordCount程序任务 程序 WordCount 输入 输出 文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔 编写map函数,reduce函数 1.创建一个文件夹和两个文件 2.打开文件添加map和reduce代码 将其
阅读全文
posted @ 2018-05-10 18:36 231黄宋佳
阅读(131)
评论(0)
推荐(0)
编辑
熟悉HBase基本操作
摘要: 1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23 2015003
阅读全文
posted @ 2018-05-10 18:34 231黄宋佳
阅读(145)
评论(0)
推荐(0)
编辑
2018年4月30日
python爬虫
摘要: 一、主题 本次只是简单的爬取广东轻工职业技术学院的校园新闻并将爬取信息生成词云进行分析 二、实现过程 1.在广东轻工职业技术学院官网中进入校园新闻模块,首先点击其中一条新闻,通过开发者工具(F12)分析获取新闻的标题,发布时间以及链接以字典news{}存放起来,并将新闻内容写到content.txt
阅读全文
posted @ 2018-04-30 16:20 231黄宋佳
阅读(421)
评论(0)
推荐(0)
编辑
2018年4月27日
熟悉常用的HDFS操作
摘要: 一、Hadoop提供的Shell命令完成相同任务: 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置(ls) 在本地显示文件内容 cd /home/hadoop/ touch test.txt cat temp.txt
阅读全文
posted @ 2018-04-27 18:50 231黄宋佳
阅读(184)
评论(0)
推荐(0)
编辑
2018年4月18日
数据结构化与保存
摘要: 1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3. 安装pandas,用pand
阅读全文
posted @ 2018-04-18 16:33 231黄宋佳
阅读(202)
评论(0)
推荐(0)
编辑
2018年4月10日
爬取校园新闻首页的新闻
摘要: 1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文。 2. 分析字符串,获取每篇新闻的发布时间,作者,来源,摄影等信息。 3. 将其中的发布时间由str转换成datetime类型。 4. 将完整的代码及运行结果截图发布在作业上。
阅读全文
posted @ 2018-04-10 17:20 231黄宋佳
阅读(107)
评论(0)
推荐(0)
编辑
2018年3月30日
网络爬虫基础练习
摘要: 0.可以新建一个用于练习的html文件,在浏览器中打开。 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Simple DOM Demo</title> </head> <body> <h1>This is
阅读全文
posted @ 2018-03-30 19:13 231黄宋佳
阅读(105)
评论(0)
推荐(0)
编辑
2018年3月28日
综合练习:词频统计
摘要: 1.英文词频统 下载一首英文的歌词或文章 将所有,.?!’:等分隔符全部替换为空格 将所有大写转换为小写 生成单词列表 生成词频统计 排序 排除语法型词汇,代词、冠词、连词 输出词频最大TOP20 将分析对象存为utf-8编码的文件,通过文件读取的方式获得词频分析内容。 读取news.txt文件:
阅读全文
posted @ 2018-03-28 19:27 231黄宋佳
阅读(168)
评论(0)
推荐(0)
编辑
下一页
公告