摘要: var date=new Date();//获取当前时间 var year=date.getFullYear();//获取当前年份 var month=date.getMonth()+1;//获取当前月 var day=date.getDate();//获取当前日 var nowTime=newda 阅读全文
posted @ 2019-08-29 15:01 113杨链新 阅读(913) 评论(0) 推荐(0) 编辑
摘要: Hadoop综合大作业 要求: 1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。 查出top 10个商品,其被同个用户先购买后收藏或加入购物车,这些商品可能再次 阅读全文
posted @ 2018-05-25 20:13 113杨链新 阅读(91) 评论(0) 推荐(0) 编辑
摘要: 1. 用Python编写WordCount程序并提交任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔 阅读全文
posted @ 2018-05-10 21:50 113杨链新 阅读(124) 评论(0) 推荐(0) 编辑
摘要: 1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23 2015003 阅读全文
posted @ 2018-05-04 20:43 113杨链新 阅读(978) 评论(0) 推荐(0) 编辑
摘要: 一、Hadoop提供的Shell命令完成相同任务: 二、 阅读全文
posted @ 2018-04-27 20:39 113杨链新 阅读(405) 评论(0) 推荐(0) 编辑
摘要: 这次的作业还是有难度的,我花了挺多时间的,主要问题就是那个我最后生成的词云没有中文,只是边框,最后是通过网上查资料找出了问题所在——wordcloud不支持中文,最后添加了中文字体的路径,就成功了!还要继续努力哟! 阅读全文
posted @ 2018-04-24 21:54 113杨链新 阅读(2112) 评论(0) 推荐(0) 编辑
摘要: 1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3. 安装pandas,用pand 阅读全文
posted @ 2018-04-16 17:52 113杨链新 阅读(118) 评论(0) 推荐(0) 编辑
摘要: 1.import re; def isEmailAccount(str): if(re.match("\w*@\w*(\.\w{2,3}){1,3}$",str)): return True else: return False print(isEmailAccount('123sdf_sd@qq.com.cm')) print(isEmailAc... 阅读全文
posted @ 2018-04-09 20:42 113杨链新 阅读(76) 评论(0) 推荐(0) 编辑
摘要: 1. 用requests库和BeautifulSoup库,爬取校园新闻首页新闻的标题、链接、正文。 2. 分析字符串,获取每篇新闻的发布时间,作者,来源,摄影等信息。 3. 将其中的发布时间由str转换成datetime类型。 阅读全文
posted @ 2018-04-02 20:33 113杨链新 阅读(141) 评论(0) 推荐(0) 编辑
摘要: 1.利用requests.get(url)获取网页页面的html文件 import requests newsurl='http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get(newsurl) #返回response对象 res.en 阅读全文
posted @ 2018-03-29 21:45 113杨链新 阅读(148) 评论(0) 推荐(0) 编辑