随笔分类 -  网络爬虫

Python 高性能异步爬虫 一分钟下载 3.5G Bing 高清壁纸
摘要：> 源码地址：[https://github.com/pineapple-cpp/bing-image-spider](https://github.com/pineapple-cpp/bing-image-spider) 保存壁纸信息到数据库 + 保存高清壁纸（约3.5G）只需70s ![imag 阅读全文
posted @ 2022-04-07 11:32 王舰 阅读(496) 评论(0) 推荐(0)
User-Agent和Cookie反爬虫以及如何绕过
摘要：## 一、前言 今天是1024程序员节，大家节日快乐。听说今天发博客会得一枚1024勋章，一年一次呢，真是稀有。写篇博客顺便把这几天学习的相关知识总结一下。 ## 二、为什么要学习反爬虫 从暑假算起到现在，我也接触了4个月的爬虫，期间做过不少测试和实战，越往后学，越是难学。倒不是难在设计爬虫，编写P 阅读全文
posted @ 2022-04-06 15:05 王舰 阅读(2288) 评论(0) 推荐(0)
Python 淘宝表单信息爬虫更新日志：解决mysql高版本int字段插入空值报错问题
摘要：## Github项目链接： [https://github.com/Pineapple666/TaobaoSpider](https://github.com/Pineapple666/TaobaoSpider) ## 一、问题描述 我一开始写爬虫的时候，数据用的是Linux虚拟机的`mysql5 阅读全文
posted @ 2022-04-06 14:58 王舰 阅读(578) 评论(0) 推荐(0)
Python scrapy.pipelines.images item_completed方法中[x for ok, x in results if ok]的意思
摘要：今天在DEBUG的时候又出现了一个问题，用Scrapy下载图片，需要重写ImagesPipeline类的item_completed方法。 书上代码如下： ```python def item_completed(self, results, item, info): image_paths = [ 阅读全文
posted @ 2022-04-06 14:50 王舰 阅读(548) 评论(0) 推荐(0)
Python post请求模拟登录淘宝并爬取商品列表
摘要：## 一、前言 大概是一个月前就开始做淘宝的爬虫了，从最开始的用selenium用户配置到selenium模拟登录，再到这次的post请求模拟登录。一共是三篇博客，记录了我爬取淘宝网的经历。期间也有朋友向我提出了不少问题，比如滑块失败，微博登录失败等，可以说用selenium模拟登录这方面，坑特别多 阅读全文
posted @ 2022-04-06 14:49 王舰 阅读(2569) 评论(5) 推荐(0)
Python Github自动登录，Github开源项目分析
摘要：## 一、前言 Github源码链接：[https://github.com/Python3WebSpider/GithubLogin](https://github.com/Python3WebSpider/GithubLogin) 崔庆才：[https://cuiqingcai.com/8229 阅读全文
posted @ 2022-04-06 14:48 王舰 阅读(443) 评论(0) 推荐(0)
Python 异步编程，挑战单线程的极限，爬取LOL皮肤(1385次get请求和图片下载，用时29.4s)
摘要：![在这里插入图片描述](https://img2023.cnblogs.com/blog/2119256/202308/2119256-20230811093402601-1082738617.png) [承接上一篇博客，直接上代码，解析请看上篇。](https://blog.csdn.net/p 阅读全文
posted @ 2022-04-06 14:46 王舰 阅读(115) 评论(0) 推荐(0)
Python 异步迭代器 解决TypeError: ‘async_generator‘ object is not iterable
摘要：迭代器是生成器的一种，使用迭代器生成可迭代对象，可以避免创建巨大的列表或元组。 昨天DEBUG的时候，出现了一个BUG：TypeError: 'async_generator' object is not iterable，async_generator对象不可迭代 以下，是我的解决过程。 问题 ） 阅读全文
posted @ 2022-04-06 14:44 王舰 阅读(6877) 评论(0) 推荐(0)
Python 协程asyncio+aiohttp“百万并发”高速爬取英雄联盟皮肤（1385次get请求和图片下载，用时45s）
摘要：**`博客跟新说明`**：[爬取时间已缩短至29.4s](https://blog.csdn.net/pineapple_C/article/details/108054727) <<<<==传送门== ## 一、前言 英雄联盟是一款很火的游戏，像我这种没玩过的都知道`疾风剑豪-亚索`，我便以此展示 阅读全文
posted @ 2022-04-06 14:43 王舰 阅读(661) 评论(0) 推荐(0)
Python selenium破解腾讯滑块验证码，Github开源项目分析
摘要：## 一、前言 最近一直在搞滑块验证码，发现它比之前的极验验证码又提升了一个档次。验证码只提供两张拼图，不提供原图。所以通过对比两张图片来寻找缺口的方法已经不适用了！所以要用一些图像处理和计算机视觉相关的方法，比如openCV。但是这个东西太深奥了，又和python的另一个第三方库：numpy紧密结 阅读全文
posted @ 2022-04-06 14:42 王舰 阅读(5354) 评论(1) 推荐(1)
Python selenium淘宝自动登录（最新版），无意间发现淘宝登录漏洞？
摘要：## 一、前言 `重大跟新`：[https://blog.csdn.net/pineapple_C/article/details/108181761](https://blog.csdn.net/pineapple_C/article/details/108181761)`post请求模拟登录淘宝 阅读全文
posted @ 2022-04-06 14:41 王舰 阅读(2032) 评论(0) 推荐(0)
Python requests+selenium多线程爬取王者荣耀全部1080P壁纸(共450M，用时57S)并按英雄进行分类
摘要：玩王者荣耀有4年了，一直很喜欢这个游戏。记不得是哪天了，当时刚刚接触python，看见网上有人用python爬取王者荣耀全皮肤图片，虽然看不懂，但满是羡慕，也想着有一天能够自己写一个程序爬我喜欢的东西。 看了大神的文章后开始自学爬虫，期间也进行过一些尝试，但结果总是不尽人意。于是利用暑假的时间，买了 阅读全文
posted @ 2022-04-06 14:40 王舰 阅读(497) 评论(1) 推荐(0)
Scrapy 如何控制导出顺序
摘要：Scrapy 如何控制导出顺序 1. 遇到的问题 在用Scrapy到处item的时候，发现顺序错乱（应该是按照abc的顺序排列的），并不是items.py文件中定义的顺序，那么如何控制呢？ 2. fields_to_export 我在查看官网文档的时候找到了这个属性，它的解释是这样的： fields 阅读全文
posted @ 2021-04-03 11:17 王舰 阅读(598) 评论(0) 推荐(0)
Python Scrapy Item Pipeline总结
摘要：## 帅图！ ![在这里插入图片描述](https://img2023.cnblogs.com/blog/2119256/202308/2119256-20230811093634552-548047430.png) @[TOC] ## 前戏 Item Pipeline是项目管道，在item.py中 阅读全文
posted @ 2021-01-08 17:20 王舰 阅读(317) 评论(0) 推荐(0)