摘要: 1.在线预览 第5次软工任务 设计 第七组.pdf 2.下载 点击下载 3.项目源代码 3.1 前端部分: https://github.com/Sakura-MI/Car-system 3.2 Golang部分: https://github.com/CocaineCong/Car-Manage- 阅读全文
posted @ 2021-11-26 16:13 FanOne 阅读(197) 评论(35) 推荐(1) 编辑
摘要: 1. 实验一 1.1 题目 熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。 使用Selenium框架爬取京东商城某类商品信息及图片。 候选网站:http://www.jd.com 1.2 思路 1.2.1 发送请求 引入驱动配置 chrome_optio 阅读全文
posted @ 2021-11-24 13:14 FanOne 阅读(108) 评论(0) 推荐(0) 编辑
摘要: 实验 1 1.1 题目 熟练掌握 scrapy 中 Item、Pipeline 数据的序列化输出方法; Scrapy+Xpath+MySQL数据库存储技术路线爬取当当网站图书数据 候选网站:http://www.dangdang.com/ 1.2 思路 1.2.1 setting.py 打开请求头 阅读全文
posted @ 2021-11-10 11:31 FanOne 阅读(79) 评论(0) 推荐(0) 编辑
摘要: 1.在线预览 第4次软工任务 设计 第七组.pdf 2.下载 点击下载 阅读全文
posted @ 2021-10-29 19:24 FanOne 阅读(142) 评论(42) 推荐(1) 编辑
摘要: 实验 1 1.1 题目 指定一个网站,爬取这个网站中的所有的所有图片,例如中国气象网(http://www.weather.com.cn),分别使用单线程和多线程的方式爬取。(限定爬取图片数量为学号后3位) 输出信息: 将下载的Url信息在控制台输出,并将下载的图片存储在images子文件中,并给出 阅读全文
posted @ 2021-10-27 11:34 FanOne 阅读(162) 评论(0) 推荐(0) 编辑
摘要: 实验 1 1.1 题目 要求:在中国气象网(http://www.weather.com.cn)给定城市集的7日天气预报,并保存在数据库。 1.2 思路 1.2.1 发送请求 导入包 import urllib.request 构造请求头并发送请求 headers={"User-Agent":"Mo 阅读全文
posted @ 2021-10-13 11:16 FanOne 阅读(247) 评论(0) 推荐(0) 编辑
摘要: 1. 作业① 1.1 题目 用urllib和re库方法定向爬取给定网址的数据 1.2 思路 1.2.1 发送请求 引入库并且编写请求头 请求头是为了把爬虫包装成浏览器的正常访问。 import urllib.request import re header = { 'user-agent': 'Mo 阅读全文
posted @ 2021-09-29 14:00 FanOne 阅读(165) 评论(0) 推荐(0) 编辑
摘要: 自我介绍:学号:031904102;我叫曾庆聪;我的爱好是摸鱼;我最喜欢吃饭;最喜欢的一句话:冲冲冲! 阅读全文
posted @ 2021-09-09 22:13 FanOne 阅读(57) 评论(0) 推荐(0) 编辑
摘要: 爬虫爬取B站评论,点赞数等等 直接贴代码 import requests import re import time import json def get_info(): headers = { 'Host': 'api.bilibili.com', 'Referer': 'https://www.bilibili.com/v 阅读全文
posted @ 2020-09-26 08:08 FanOne 阅读(902) 评论(0) 推荐(1) 编辑