2019年6月20日

大数据应用期末总评

摘要: 作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一、课程评分标准: 分数组成: 考勤 10 平时作业 30 爬虫大作业 25 Hadoop生态安装与配置 10 分布式文件系统HDFS 分布式并行计算MapRedu 阅读全文

posted @ 2019-06-20 14:42 伽罗瓦 阅读(140) 评论(0) 推荐(0) 编辑

2019年5月31日

分布式文件系统HDFS 练习

摘要: 作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(had 阅读全文

posted @ 2019-05-31 17:53 伽罗瓦 阅读(149) 评论(0) 推荐(0) 编辑

2019年5月10日

安装Hadoop

摘要: 作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 1.安装Linux,MySql (1)安装前准备 新建ubuntu 命名 分配内存 (二)安装 安装界面 准备安装,点击继续 点击其它选项,然后点击继续 点击“新建 阅读全文

posted @ 2019-05-10 21:15 伽罗瓦 阅读(279) 评论(0) 推荐(0) 编辑

2019年5月9日

爬虫综合大作业

摘要: 本次作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 可以用pandas读出之前保存的数据: newsdf = pd.read_csv(r'F:\duym\gzccnews.csv') 一.把爬取的内容保存到数 阅读全文

posted @ 2019-05-09 21:55 伽罗瓦 阅读(330) 评论(0) 推荐(0) 编辑

2019年4月12日

爬取全部的校园新闻

摘要: 作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests. 阅读全文

posted @ 2019-04-12 17:52 伽罗瓦 阅读(190) 评论(0) 推荐(0) 编辑

2019年3月29日

理解爬虫原理

摘要: 作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 给网站发送请求,获取资源后解析并提取有用数据的程序 2. 理解爬虫开发过程 1).简要说明浏览器工作原理 浏览器工作原理的实质就是实现htt 阅读全文

posted @ 2019-03-29 18:07 伽罗瓦 阅读(242) 评论(0) 推荐(0) 编辑

2019年3月23日

中文词频统计与词云生成

摘要: 作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 1. 下载一长篇中文小说。 下载长篇小说《西游记》 本次作业小说保存在txt文档:西游记.txt 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分 阅读全文

posted @ 2019-03-23 15:37 伽罗瓦 阅读(296) 评论(0) 推荐(0) 编辑

2019年3月17日

复合数据类型,英文词频统计

摘要: 作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表,元组,字典,集合分别如何增删改查及遍历。 列表 增: 删: 改: 查: 遍历: 元组(元组是不可变类型,不能更新或者改变元组的元素) 增: 删: 查: 遍 阅读全文

posted @ 2019-03-17 16:16 伽罗瓦 阅读(146) 评论(0) 推荐(0) 编辑

2019年3月10日

字符串操作、文件操作,英文词频统计预处理

摘要: 1.字符串操作: 解析身份证号:生日、性别、出生地等。 代码 运行结果 凯撒密码编码与解码 代码 运行结果 网址观察与批量生成 代码 运行结果 2.英文词频统计预处理 下载一首英文的歌词或文章或小说。 将所有大写转换为小写 将所有其他做分隔符(,.?!)替换为空格 分隔出一个一个的单词 并统计单词出 阅读全文

posted @ 2019-03-10 15:22 伽罗瓦 阅读(152) 评论(0) 推荐(0) 编辑

2019年3月3日

了解大数据的特点、来源与数据呈现方式

摘要: 作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 1.浏览2019春节各种大数据分析报告,例如: 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_3 阅读全文

posted @ 2019-03-03 15:13 伽罗瓦 阅读(485) 评论(0) 推荐(0) 编辑

导航