摘要: 作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一、课程评分标准: 分数组成: 考勤 10 平时作业 30 爬虫大作业 25 Hadoop生态安装与配置 10 分布式文件系统HDFS 分布式并行计算MapRedu 阅读全文
posted @ 2019-06-20 18:29 linSeek 阅读(184) 评论(2) 推荐(0) 编辑
摘要: 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(hadoo 阅读全文
posted @ 2019-06-04 21:33 linSeek 阅读(818) 评论(0) 推荐(0) 编辑
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 1.安装Vbox 2.安装Linux系统,sql库 1. 查看JAVA环境 2.Hadoop安装及配置 修改配置文件 配置ssh 更新update 安装ssh 查看ha 阅读全文
posted @ 2019-05-16 21:41 linSeek 阅读(118) 评论(0) 推荐(0) 编辑
摘要: 文章主要内容: 爬取新上映的电影《调音师》评价、评分、以及观众分布。 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 一.把爬取的内容保存取MySQL数据库 import pandas as pd import py 阅读全文
posted @ 2019-05-09 21:39 linSeek 阅读(324) 评论(0) 推荐(0) 编辑
摘要: 本次作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 import包: 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) 阅读全文
posted @ 2019-04-15 21:56 linSeek 阅读(218) 评论(0) 推荐(0) 编辑
摘要: 老师:MissDu 提交作业 老师:MissDu 提交作业 1. 简单说明爬虫原理 爬虫的原理是通过模拟请求的方式去访问相关的开放页面,通过代码的方式去模拟触发网页的点击和跳转,通过流的方式获取到请求响应后的整个html信息, 再通过一些工具类去筛选这些信息中包含的有用的信息; 2. 理解爬虫开 阅读全文
posted @ 2019-04-01 21:55 linSeek 阅读(228) 评论(0) 推荐(0) 编辑
摘要: 1.列表,元组,字典,集合分别如何增删改查及遍历。 #3.字典 2.总结列表,元组,字典,集合的联系与区别。参考以下几个方面: 括号 有序无序 可变不可变 重复不可重复 存储与查找方式 列表: 括号:有括号:[] 有序无序:有序 可变不可变:可变 重复不可重复:可重复 存储与查找方式:顺序查找和根据 阅读全文
posted @ 2019-03-25 20:35 linSeek 阅读(238) 评论(0) 推荐(0) 编辑
摘要: 中文词频统计: 作业连接:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import j 阅读全文
posted @ 2019-03-25 19:23 linSeek 阅读(3477) 评论(0) 推荐(0) 编辑
摘要: 1.字符串操作: 解析身份证号:生日、性别、出生地等 凯撒密码编码与解码 网址观察与批量生成 (1)解析身份证: 编译结果: (2)凯撒密码编码与解码 编译结果: 2.英文词频统计预处理 下载一首英文的歌词或文章或小说。 将所有大写转换为小写 将所有其他做分隔符(,.?!)替换为空格 分隔出一个一个 阅读全文
posted @ 2019-03-11 13:10 linSeek 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 若使用ajax测试本地数据时,遇到的跨域问题,如 因为ajax只能用于请求服务器的数据,而在本地测试,打开的文件是以 file:// 的形式, 所以报错 可以通过 nginx 建立反向代理,处理静态文件, 也可以使用 wamp 集成环境进行伪服务器的访问, Wamp就是Windows Apache 阅读全文
posted @ 2019-03-10 17:22 linSeek 阅读(1214) 评论(0) 推荐(0) 编辑