摘要: 本次作业的要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 前言 本次作业是在《爬虫大作业》的基础上进行的,在《爬虫大作业》中,我主要对豆瓣网各类型书籍进行数据爬取,最终得到了2641条数据存在一个名为lagoupy. 阅读全文
posted @ 2019-06-19 18:31 Zhms 阅读(339) 评论(0) 推荐(0) 编辑
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(hadoo 阅读全文
posted @ 2019-06-01 11:59 Zhms 阅读(224) 评论(0) 推荐(0) 编辑
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3161 一.简述Hadoop平台的起源、发展历史与应用现状。 1.列举发展过程中重要的事件、主要版本、主要厂商; 说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT 阅读全文
posted @ 2019-05-12 18:13 Zhms 阅读(162) 评论(0) 推荐(0) 编辑
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 一.把爬取的内容保存取MySQL数据库 import pandas as pd import pymysql from sqlalchemy import create 阅读全文
posted @ 2019-04-28 19:42 Zhms 阅读(254) 评论(0) 推荐(0) 编辑
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2941 import requests from bs4 import BeautifulSoup from datetime import datetime import r 阅读全文
posted @ 2019-04-12 22:18 Zhms 阅读(161) 评论(0) 推荐(0) 编辑
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894 给定一篇新闻的链接newsUrl,获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击: newsUrl newsId(使 阅读全文
posted @ 2019-04-03 22:28 Zhms 阅读(141) 评论(0) 推荐(0) 编辑
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851 1.简单说明爬虫原理 网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。 2. 理解爬虫开发过程 1). 阅读全文
posted @ 2019-03-27 20:11 Zhms 阅读(270) 评论(0) 推荐(0) 编辑
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773 一.下载一篇中文长篇小说并从文件中读取待分析文本 二.安装jieba 三. (1)更新词库,加入所分析对象的专业词汇。 (2)生成词频统计 (3)排序 (4)排除语法型 阅读全文
posted @ 2019-03-18 21:44 Zhms 阅读(176) 评论(0) 推荐(0) 编辑
摘要: 作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696 1.列表,元组,字典,集合分别如何增删改查及遍历。 列表的增删改查list1 = list('this is a list')#增加list1.append('!') 阅读全文
posted @ 2019-03-14 17:00 Zhms 阅读(235) 评论(0) 推荐(0) 编辑
摘要: 作业要求详情:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2646 1.字符串操作: 解析身份证号:生日、性别、出生地等。 凯撒密码编码与解码 网址观察与批量生成 2.英文词频统计预处理 下载一首英文的歌词或文章或小说,保存为utf 阅读全文
posted @ 2019-03-06 14:45 Zhms 阅读(152) 评论(0) 推荐(0) 编辑