首页
新闻
博问
会员
闪存
班级
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
金木s
博客园
首页
新随笔
新文章
联系
管理
订阅
2021年11月24日
数据采集与融合-第五次大作业
摘要: 作业①: 要求 熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。 使用Selenium框架爬取京东商城某类商品信息及图片。 候选网站 http://www.jd.com/ 关键词 自由选择 输出信息 MYSQL的输出信息如下: 代码复现 爬取图片信息 其他
阅读全文
posted @ 2021-11-24 21:12 金木s
阅读(42)
评论(0)
推荐(0)
编辑
2021年11月10日
数据采集与融合技术-第四次大作业
摘要: 作业①: 1.要求:熟练掌握 scrapy 中 Item、Pipeline 数据的序列化输出方法;Scrapy+Xpath+MySQL数据库存储技术路线爬取当当网站图书数据 2.候选网站:http://search.dangdang.com/?key=python&act=input 3.关键词:学
阅读全文
posted @ 2021-11-10 20:54 金木s
阅读(40)
评论(0)
推荐(0)
编辑
2021年10月29日
数据采集与融合技术-第三次作业
摘要: 作业一 **要求:**指定一个网站,爬取这个网站中的所有的所有图片,例如中国气象网(http://www.we ather.com.cn)。分别使用单线程和多线程的方式爬取。(限定爬取图片数量为学号后3位) **输出信息:**将下载的Url信息在控制台输出,并将下载的图片存储在images子文件中,
阅读全文
posted @ 2021-10-29 13:20 金木s
阅读(55)
评论(0)
推荐(0)
编辑
2021年10月14日
数据采集与融合技术-第二次大作业
摘要: 作业一 要求:在中国气象网(http://www.weather.com.cn)给定城市集的7日天气预报,并保存在数据库。 输出信息:Gitee文件夹链接 实验过程 准备工作:定义对表weather的打开、关闭、插入、查询操作 点击查看代码 class WeatherDB: def openDB(s
阅读全文
posted @ 2021-10-14 18:52 金木s
阅读(83)
评论(0)
推荐(0)
编辑
2021年9月30日
大数据数据采集第一次作业
摘要: 作业①: 1)实验内容 要求:用urllib和re库方法定向爬取给定网址(https://www.shanghairanking.cn/rankings/bcsr/2020/0812 )的数据。 输出信息: 2)实验思路及代码 获取html 分析网页源代码,可知输出信息中的字段在标签tr的子标签td
阅读全文
posted @ 2021-09-30 15:15 金木s
阅读(62)
评论(0)
推荐(0)
编辑
2021年9月12日
软工第一次作业
摘要: 031904136;我是尚思佳;我的爱好是睡觉;我最喜欢京元食堂的水煮龙利鱼;青鸟;今天没睡够。)
阅读全文
posted @ 2021-09-12 17:19 金木s
阅读(16)
评论(0)
推荐(0)
编辑
公告