摘要: 作业一: (1)实验要求: • 要求: 熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。 使用Selenium框架爬取京东商城某类商品信息及图片。 • 候选网站:http://www.jd.com/ • 关键词:学生自由选择 • 输出信息:MYSQL的输出 阅读全文
posted @ 2021-11-26 20:39 哈哈哈GS 阅读(13) 评论(0) 推荐(0) 编辑
摘要: 作业一: (1)实验要求: 要求:熟练掌握 scrapy 中 Item、Pipeline 数据的序列化输出方法;Scrapy+Xpath+MySQL数据库存储技术路线爬取当当网站图书数据 候选网站:http://search.dangdang.com/?key=python&act=input 关键 阅读全文
posted @ 2021-11-14 00:30 哈哈哈GS 阅读(37) 评论(0) 推荐(0) 编辑
摘要: 作业一: (1)实验要求: • 要求:指定一个网站,爬取这个网站中的所有的所有图片,例如中国气象网(http://www.we ather.com.cn)。分别使用单线程和多线程的方式爬取。(限定爬取图片数量为学号后4位) • 输出信息: 将下载的Url信息在控制台输出,并将下载的图片存储在imag 阅读全文
posted @ 2021-11-01 22:06 哈哈哈GS 阅读(34) 评论(0) 推荐(0) 编辑
摘要: 作业① (1)实验要求: 要求:在中国气象网(http://www.weather.com.cn)给定城市集的7日天气预报,并保存在数据库。 输出信息: 序号地区日期天气信息温度 1 北京 7日(今天) 晴间多云,北部山区有阵雨或雷阵雨转晴转多云 31℃/17℃ 2 北京 8日(明天) 多云转晴,北 阅读全文
posted @ 2021-10-14 19:05 哈哈哈GS 阅读(49) 评论(0) 推荐(0) 编辑
摘要: 作业① (1)实验要求: 用urllib和re库方法定向爬取给定网址(https://www.shanghairanking.cn/rankings/bcsr/2020/0812 )的数据 输出结果 2020排名 全部层次 学校类型 总分 1 前2% 清华大学 1069.0 ... (2)题目分析: 阅读全文
posted @ 2021-09-30 20:00 哈哈哈GS 阅读(50) 评论(0) 推荐(0) 编辑
摘要: 自我介绍:031904114;我是郭帅;我的爱好是旅游、看电影、刷抖音;我最喜欢的是漳州鸭粉(玫瑰园一层);推荐一首我最爱的歌Free Loop; 给我点好运气,剩下的我自己努力。 阅读与思考:现在的我已经大三,对于大数据专业到底以后能做什么工作还是一无所知,之后的目标是努力学习,备战考研! 阅读全文
posted @ 2021-09-09 23:18 哈哈哈GS 阅读(30) 评论(0) 推荐(0) 编辑