摘要: 本次作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一、课程评分标准: 分数组成: 考勤 10 平时作业 30 爬虫大作业 25 Hadoop生态安装与配置 10 分布式文件系统HDFS 分布式并行计算MapRed 阅读全文
posted @ 2019-06-21 16:06 陈力铭 阅读(159) 评论(0) 推荐(0) 编辑
摘要: 本次作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一、课程评分标准: 分数组成: 考勤 10 平时作业 30 爬虫大作业 25 Hadoop生态安装与配置 10 分布式文件系统HDFS 分布式并行计算MapRed 阅读全文
posted @ 2019-06-20 21:37 陈力铭 阅读(227) 评论(0) 推荐(0) 编辑
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 (1)在HDFS中为hadoop用户创建一个用户目录(ha 阅读全文
posted @ 2019-06-04 21:50 陈力铭 阅读(297) 评论(0) 推荐(0) 编辑
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 安装hadoop 安装JAVA环境并进行环境变量配置,成功之后使用命令java -version查看 格式化namenode 伪分布式hadoop启动 通过命令jps可 阅读全文
posted @ 2019-05-16 21:41 陈力铭 阅读(116) 评论(0) 推荐(0) 编辑
摘要: 作业来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 爬取网路游戏玩家人数排名 网络游戏排名情况: 代码: mport requestsfrom lxml import etreesession = requests.S 阅读全文
posted @ 2019-05-08 20:24 陈力铭 阅读(203) 评论(0) 推荐(0) 编辑
摘要: 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.get(clickUrl) re.search()/.split() str.lstrip(),str.rstrip() int 整理成 阅读全文
posted @ 2019-04-15 21:54 陈力铭 阅读(107) 评论(0) 推荐(0) 编辑
摘要: 1. 简单说明爬虫原理 (1)发起请求:通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应。 (2)获取响应内容:如果服务器能正常响应,会得到一个Response,Response的内容便是所要获取的页面内容,类型可能有HTML,Jso 阅读全文
posted @ 2019-04-01 21:21 陈力铭 阅读(227) 评论(0) 推荐(0) 编辑
摘要: 作业来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ji 阅读全文
posted @ 2019-03-25 23:41 陈力铭 阅读(295) 评论(0) 推荐(0) 编辑
摘要: 中文词频统计与词云生成 作业来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba imp 阅读全文
posted @ 2019-03-25 21:30 陈力铭 阅读(199) 评论(0) 推荐(0) 编辑
摘要: 凯撒密码编码与解码 代码: 字符串操作: 解析身份证号:生日、性别、地区编号等。 代码: 英文词频统计预处理 下载一首英文的歌词或文章或小说。 将所有大写转换为小写 将所有其他做分隔符(,.?!)替换为空格 分隔出一个一个的单词 并统计单词出现的次数。 file = open("CLM","r",e 阅读全文
posted @ 2019-03-11 19:31 陈力铭 阅读(177) 评论(0) 推荐(0) 编辑