摘要：一个简单的数据爬取的示例 import os,re import requests import random import time from bs4 import BeautifulSoup user_agent_list = [ "Mozilla/5.0 (Windows NT 6.1; WO 阅读全文

摘要：selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。Selenium的核心Selenium Core基于JsUnit，完全由JavaScript 阅读全文

摘要：兴奋的开发除了爬取拉勾网的爬虫信息，可是当调试都成功了的那一刻，我被拉钩封IP了。 下面是spider的主要内容 import reimport scrapy from bs4 import BeautifulSoupfrom scrapy.http import Request from lago 阅读全文

摘要：刚开始学爬虫，网上搜了搜，目前最合适的是选scrapy。 先要安装scrapy。 很多的博客上用的教程都说，scrapy目前对python3支持不是很好。可是不能不学3啊。 先用anaconda最新版本4.3.2 import scrapy 发现报错！ 直接上 pip install scrapy, 阅读全文