大作业+补交作业

摘要: 启动hadooop jps查看服务是否启动 把本地文件传上数据库 启动hive建表 使用select命令查看结果 python基础 综合练习:英文词频统计 词频统计预处理 下载一首英文的歌词或文章 将所有,.?!’:等分隔符全部替换为空格 将所有大写转换为小写 生成单词列表 生成词频统计 排序 排除 阅读全文
posted @ 2018-05-28 19:18 嘻嘻嘻宸 阅读(174) 评论(0) 推荐(0) 编辑

补交作业

摘要: python基础 综合练习:英文词频统计 词频统计预处理 下载一首英文的歌词或文章 将所有,.?!’:等分隔符全部替换为空格 将所有大写转换为小写 生成单词列表 生成词频统计 排序 排除语法型词汇,代词、冠词、连词 输出词频最大TOP10 按 Ctrl+C 复制代码 按 Ctrl+C 复制代码 截图 阅读全文
posted @ 2018-05-25 10:48 嘻嘻嘻宸 阅读(226) 评论(0) 推荐(0) 编辑

获取全部校园网

摘要: 1.取出一个新闻列表页的全部新闻 包装成函数。 2.获取总的新闻篇数,算出新闻总页数。 3.获取全部新闻列表页的全部新闻详情。 4.找一个自己感兴趣的主题,进行数据爬取,并进行分词分析。不能与其它同学雷同。 阅读全文
posted @ 2018-05-25 10:43 嘻嘻嘻宸 阅读(95) 评论(0) 推荐(0) 编辑

最新评论 网络爬虫基础练习

摘要: Posted on 2018-03-29 21:54 170何强 阅读(9) 评论(0) 编辑 收藏 0.可以新建一个用于练习的html文件,在浏览器中打开。 1.利用requests.get(url)获取网页页面的html文件 import requests newsurl='http://new 阅读全文
posted @ 2018-05-25 10:42 嘻嘻嘻宸 阅读(74) 评论(0) 推荐(0) 编辑

中文词频统计

摘要: 下载一长篇中文文章。 从文件读取待分析文本。 news = open('gzccnews.txt','r',encoding = 'utf-8') 安装与使用jieba进行中文分词。 pip install jieba import jieba list(jieba.lcut(news)) 生成词频 阅读全文
posted @ 2018-05-25 10:41 嘻嘻嘻宸 阅读(66) 评论(0) 推荐(0) 编辑

综合练习:英文词频统计

摘要: 词频统计预处理 下载一首英文的歌词或文章 将所有,.?!’:等分隔符全部替换为空格 将所有大写转换为小写 生成单词列表 生成词频统计 排序 排除语法型词汇,代词、冠词、连词 输出词频最大TOP10 # -*- coding: UTF-8 -*-# -*- author: yjw -*- Music= 阅读全文
posted @ 2018-05-25 10:40 嘻嘻嘻宸 阅读(92) 评论(0) 推荐(0) 编辑

python基础

摘要: # -*- coding:utf-8 -*-from turtle import *def mygoto(x,y): up() goto(x,y) down()def drawStar(r): begin_fill() for i in range(5): forward(r) right(144) 阅读全文
posted @ 2018-05-25 10:38 嘻嘻嘻宸 阅读(65) 评论(0) 推荐(0) 编辑

Hive基本操作与应用

摘要: 通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 1 2 load data inpath '/user/hadoop/tese1/try.txt' overwrite int 阅读全文
posted @ 2018-05-16 21:37 嘻嘻嘻宸 阅读(92) 评论(0) 推荐(0) 编辑

熟悉常用的HBase操作,编写MapReduce作业

摘要: 1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23 2015003 阅读全文
posted @ 2018-05-08 14:33 嘻嘻嘻宸 阅读(71) 评论(0) 推荐(0) 编辑

爬虫大作业

摘要: 1、选一个自己感兴趣的主题。 2、用python 编写爬虫程序,从网络上爬取相关主题的数据。 3、对爬了的数据进行文本分析,生成词云。 4、对文本分析结果进行解释说明。 5、写一篇完整的博客,描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6、最后提交爬取的全部数据、爬虫及数据分析源代 阅读全文
posted @ 2018-04-30 21:57 嘻嘻嘻宸 阅读(145) 评论(0) 推荐(0) 编辑