2019年6月20日

Hadoop综合大作业

摘要: Hadoop综合大作业 本次作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一、将爬虫大作业产生的csv文件上传到HDFS 2.对CSV文件进行预处理生成无标题文本文件 3.把hdfs中的文本文件最终导入到数据 阅读全文

posted @ 2019-06-20 02:36 zhouyihan 阅读(123) 评论(0) 推荐(0)

2019年6月4日

分布式文件系统HDFS 练习

摘要: 一、目录操作 1.开启Hadoop服务 2.在HDFS中为hadoop用户创建一个用户目录(hadoop用户) 3.在用户目录下创建一个input目录 4.在HDFS的根目录下创建一个名称为input的目录 5.删除HDFS根目录中的“input”目录 二、文件操作 1.使用vim编辑器,在本地Li 阅读全文

posted @ 2019-06-04 09:04 zhouyihan 阅读(234) 评论(0) 推荐(0)

2019年5月13日

安装hadoop

摘要: 一、在VMware Workstation安装Ubuntu 点击文件 > 新建虚拟机 稍后才安装系统 选择Linux的版本 指定磁盘容量 创建好虚拟机 使用ubuntu镜像文件安装系统 二、创建hadoop用户 创建 设密码 加入sudo权限 三、安装MySQL 更新软件资源库 安装mysql 开启 阅读全文

posted @ 2019-05-13 17:11 zhouyihan 阅读(218) 评论(0) 推荐(0)

2019年5月9日

爬虫综合大作业

摘要: 爬虫综合大作业 作业要求来自https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 作业要求来自https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 作业要求来自ht 阅读全文

posted @ 2019-05-09 00:48 zhouyihan 阅读(378) 评论(0) 推荐(1)

2019年4月15日

爬取全部的校园新闻

摘要: 本次作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) reques 阅读全文

posted @ 2019-04-15 20:04 zhouyihan 阅读(132) 评论(0) 推荐(0)

2019年3月24日

中文词频统计与词云生成

摘要: 本次作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba impo 阅读全文

posted @ 2019-03-24 22:44 zhouyihan 阅读(206) 评论(0) 推荐(0)

2019年3月22日

复合数据类型,英文词频统计

摘要: 1.列表,元组,字典,集合分别如何增删改查及遍历 列表: 元组: 字典: 集合: 遍历函数都相同,其下格式为: 2.总结列表,元组,字典,集合的联系与区别。参考以下几个方面: 3.词频统计 1.下载一长篇小说,存成utf-8编码的文本文件 file 2.通过文件读取字符串 str 3.对文本进行预处 阅读全文

posted @ 2019-03-22 14:57 zhouyihan 阅读(134) 评论(0) 推荐(0)

2019年3月10日

字符串操作、文件操作,英文词频统计预处理

摘要: 1.字符串操作:解析身份证号:生日、性别、出生地等。凯撒密码编码与解码网址观察与批量生成 2.英文词频统计预处理下载一首英文的歌词或文章或小说。将所有大写转换为小写将所有其他做分隔符(,.?!)替换为空格分隔出一个一个的单词并统计单词出现的次数。 3.文件操作同一目录、绝对路径、相对路径凯撒密码:从 阅读全文

posted @ 2019-03-10 20:53 zhouyihan 阅读(138) 评论(0) 推荐(0)

2019年3月1日

201606120030-软一-周翊涵

摘要: 1.浏览2019春节各种大数据分析报告,例如: 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313993 春节人口迁徙大数据报告!http://www.sohu.com/a/293854116_679156 春节大数据:消费首破万 阅读全文

posted @ 2019-03-01 17:35 zhouyihan 阅读(187) 评论(0) 推荐(0)

2018年10月24日

结对项目-四则运算 “软件”之升级版

摘要: 一.前提 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2213 GitHub地址:https://github.com/zhouyihanhan/sizeyusuan 调试环境:android studio 二.作业要求 阅读全文

posted @ 2018-10-24 13:18 zhouyihan 阅读(158) 评论(1) 推荐(0)

导航