python爬虫使用框架

 

• scrapy

pip install scrapy

• beautifulsoup

pip install beautifulsoup4

• selenium

pip install selenium

滑动验证码
Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。

• chromedrive.exe

使用selenium需要chromedrive.exe辅助，根据自己的浏览器版本下载

• pytesseract

pip install pytesseract

• pillow

pip install pillow

• tesseract

下载安装

• tesserocr

1. 下载tesserocr-2.3.1-cp36-cp36m-win_amd64.whl文件
2. 复制到anaconda的pip所在目录C:\ProgramData\Anaconda3\Scripts
3. pip install tesserocr-2.3.1-cp36-cp36m-win_amd64.whl
4. 安装成功后把安装成功后的tesseract的tessdata文件夹复制到C:\ProgramData\Anaconda3下

识别图形文字验证码
tesserocr是Python的一个OCR库，但其实是对tesseract做的一层Python APIde 封装，所以他的核心是tesseract。因此，在安装tesserocr之前，我们需要先安装tesseract。