2019年6月20日

大数据应用期末总评

摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 首先在本地创建一个/usr/local/bigdatacase/dataset 1.对CSV文件进行预处理生成无标题文本文件,将爬虫大作业产生的csv文件上传到HDFS 阅读全文

posted @ 2019-06-20 21:58 刘杰_winslow 阅读(213) 评论(0) 推荐(0) 编辑

2019年6月4日

分布式文件系统HDFS 练习

摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 作业要求: 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 1.在HDFS中为hadoop用户创建一个用户 阅读全文

posted @ 2019-06-04 19:52 刘杰_winslow 阅读(257) 评论(0) 推荐(0) 编辑

2019年5月9日

爬虫综合大作业

摘要: 可以用pandas读出之前保存的数据: newsdf = pd.read_csv(r'F:\duym\gzccnews.csv') 一.把爬取的内容保存到数据库sqlite3 import sqlite3with sqlite3.connect('gzccnewsdb.sqlite') as db: 阅读全文

posted @ 2019-05-09 19:55 刘杰_winslow 阅读(160) 评论(0) 推荐(0) 编辑

2019年4月15日

爬取全部的校园新闻

摘要: 作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 1.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.g 阅读全文

posted @ 2019-04-15 12:20 刘杰_winslow 阅读(85) 评论(0) 推荐(0) 编辑

2019年4月1日

理解爬虫原理

摘要: 2.了解网页 3.提取一篇校园新闻的标题、发布时间、发布单位、作者、点击次数、内容等信息 阅读全文

posted @ 2019-04-01 21:10 刘杰_winslow 阅读(133) 评论(0) 推荐(0) 编辑

2019年3月25日

中文词频统计与词云生成

摘要: 本次作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 生成词云 4. 更新词库,加入所分析对象的专业词汇。 阅读全文

posted @ 2019-03-25 21:58 刘杰_winslow 阅读(313) 评论(0) 推荐(0) 编辑

复合数据类型,英文词频统计

摘要: 1.列表,元组,字典,集合分别如何增删改查及遍历。 使用append()方法来添加列表项(仅支持增加一个元素),extend()增加一个列表,insert()根据索引添加元素 del 根据索引删除元素,或者使用remove()删除指定值的元素,pop()根据索引删除元素 对列表数组某元素进行赋值,以 阅读全文

posted @ 2019-03-25 21:40 刘杰_winslow 阅读(120) 评论(0) 推荐(0) 编辑

2019年3月11日

字符串操作、文件操作,英文词频统计预处理

摘要: 这个作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 1.字符串操作: 解析身份证号:生日、性别、出生地等。 凯撒密码编码与解码 网址观察与批量生成 2.英文词频统计预处理 3.文件操作 解析身份证号:生日、性 阅读全文

posted @ 2019-03-11 18:49 刘杰_winslow 阅读(191) 评论(0) 推荐(0) 编辑

2019年3月4日

了解大数据的特点、来源与数据呈现方式

摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 浏览2019春节各种大数据分析报告,例如: 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_31399 阅读全文

posted @ 2019-03-04 20:04 刘杰_winslow 阅读(397) 评论(0) 推荐(0) 编辑

2018年10月24日

作业四-结对项目

摘要: 一.前提 (1)作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2213 (2)GitHub地址:https://github.com/mingbiaoleung/FourOperationWeb (3)调试环境:Intell 阅读全文

posted @ 2018-10-24 21:57 刘杰_winslow 阅读(188) 评论(0) 推荐(0) 编辑

导航