会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
water00
博客园
首页
新随笔
联系
管理
订阅
2020年12月2日
数据采集与融合技术第六次作业
摘要: #作业① ##1)BeautifulSoup方法爬取豆瓣电影实验 ###1、实验要求:用requests和BeautifulSoup库方法爬取豆瓣电影Top250数据;每部电影的图片,采用多线程的方法爬取,图片名字为电影名;了解正则的使用方法 ###2、编程思路: graph TB id1[分析网页
阅读全文
posted @ 2020-12-02 18:04 water00
阅读(107)
评论(0)
推荐(0)
2020年11月20日
数据采集与融合技术第五次作业
摘要: #作业① ##1)selenium爬取京东网实验 ###1、实验要求:熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容;使用Selenium框架爬取京东商城某类商品信息及图片。 ###2、编程思路: graph TB id1[初始化driver并启动] id
阅读全文
posted @ 2020-11-20 16:32 water00
阅读(271)
评论(0)
推荐(2)
2020年11月3日
数据采集与融合技术第四次作业
摘要: #作业① ##1)Scrapy+Xpath+MySQL爬取当当网数据实验 ###1、实验要求:熟练掌握 scrapy 中 Item、Pipeline 数据的序列化输出方法;Scrapy+Xpath+MySQL数据库存储技术路线爬取当当网站图书数据 ###2、编程思路: graph TB id1[在i
阅读全文
posted @ 2020-11-03 21:34 water00
阅读(248)
评论(0)
推荐(0)
2020年10月20日
数据采集与融合技术第三次作业
摘要: #作业① ##1)单线程/多线程爬取天气气象网实验 ###1、实验要求:指定一个网站,爬取这个网站中的所有的所有图片,例如中国气象网(http://www.weather.com.cn)。分别使用单线程和多线程的方式爬取。 ###2、编程思路 graph TB id1[根据指定网址爬取网页获取网页数
阅读全文
posted @ 2020-10-20 22:02 water00
阅读(257)
评论(0)
推荐(0)
2020年10月9日
数据采集与融合技术第二次作业
摘要: #作业① ##1)、爬取天气预报实验 ###1、实验要求 在中国气象网(http://www.weather.com.cn)给定城市集的7日天气预报,并保存在数据库。 ###2、编程思路 出现的问题 本次实验是对书本上的代码进行复现。刚开始在机房时复现没有出现什么问题,然后在下课之后重新运行进行截图
阅读全文
posted @ 2020-10-09 14:48 water00
阅读(296)
评论(0)
推荐(0)
2020年9月28日
数据采集与融合技术第一次作业——结合三次小作业
摘要: #作业① ##1):BeautifulSoup爬取大学排名实验 ###1、实验要求 用requests和BeautifulSoup库方法定向爬取给定网址(http://www.shanghairanking.cn/rankings/bcur/2020 )的数据,屏幕打印爬取的大学排名信息。 ###2
阅读全文
posted @ 2020-09-28 21:41 water00
阅读(412)
评论(0)
推荐(0)
2020年9月14日
软工第一次作业
摘要: #一、自我介绍 031804107 邓憧 我的爱好是吃,打牌,打麻将,看电影,旅游 食堂最喜欢的窗口:玫瑰园二楼的蛋包饭 最喜欢听的歌:没有诶,各种风格都听 一句想说的话:想吃海底捞 #二、思考 ##1、把每天把要做的事情分成ABCD四类:A-紧迫且重要;B-重要不紧迫;C-紧迫不重要;D-不重要不
阅读全文
posted @ 2020-09-14 21:16 water00
阅读(193)
评论(1)
推荐(0)
公告