qwertuyt124

摘要： 作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 1. 将爬虫大作业产生的 csv 文件上传到 HDFS 准备好的文件 在HDFS上创建 cjl/hive文件夹 通过使用 put 上传到HDFS 通过使用 ls 查看， 阅读全文

摘要： 作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 一、了解网站 今日热榜是一个非常不错的新闻资讯网站，这里更多的一些新闻信息都可以及时的查看，及时的获取，需要看的一些行业新闻都可以让你分分钟解决自己的问题。 今日 阅读全文

摘要： 1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 ：列表extend(列表) allnews *每个同学爬学号尾数开始的10个列表页 4.设置合理的爬取间隔 import time i 阅读全文

摘要： 给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newC 阅读全文

摘要： 1. 简单说明爬虫原理 2. 理解爬虫开发过程 1).简要说明浏览器工作原理； 2).使用 requests 库抓取网站数据； requests.get(url) 获取校园新闻首页html代码 3).了解网页 写一个简单的html文件，包含多个标签，类，id 4).使用 Beautiful Soup 阅读全文

摘要： 总结列表，元组，字典，集合的联系与区别。参考以下几个方面： 括号 有序无序 可变不可变 重复不可重复 存储与查找方式 括号 有序无序 可变不可变 重复不可重复 存储与查找方式 词频统计 1.下载一长篇小说，存成utf-8编码的文本文件 file 2.通过文件读取字符串 str 3.对文本进行预处理 阅读全文

摘要： 作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2646 1.字符串操作 解析身份证号：生日、性别、出生地等 运行结果： 凯撒密码编码与解码 运行结果： 网址观察与批量生成 运行结果： 2.英文词频统计 运行结果： 阅读全文

摘要： 作业来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2620 1.浏览2019春节各种大数据分析报告，例如： 这世间，再无第二个国家有能力承载如此庞大的人流量。 http://www.sohu.com/a/290025769_31 阅读全文

摘要： 作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2232 GitHub 远程仓库的地址：https://github.com/RichardSkr/Simple-arithmetic-device 1. 开发环境 IDE 阅读全文

摘要： 第四次作业： 作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2186 我的 github 地址：https://github.com/CJL29120/ruangong 一、需求分析 具体要求：任何编程语言都可以，命令 阅读全文