摘要： # -*- coding: utf-8 -*-import scrapyfrom BOOK.items import BookItemimport jsonfrom copy import deepcopyclass BookSpider(scrapy.Spider): name = 'book' 阅读全文

摘要： from datetime import datetimefrom scrapy.exporters import JsonItemExporter, CsvItemExporterimport pymongoimport redisfrom .settings import REDIS_HOST, 阅读全文

摘要： from scrapy_plus.core.spider import Spider from scrapy_plus.http.request import Request class TencentSpider(Spider): name = 'tencent' start_urls = ['h 阅读全文

摘要： import time from scrapy_plus.core.spider import Spider from scrapy_plus.http.request import Request import js2py class SinaGunDong(Spider): name = "si 阅读全文

摘要： # -*- coding: utf-8 -*-import scrapyimport re#登陆马云的URL https://gitee.com/login#form 中 {userLogin:hanjian200}#cookieclass MayunSpider(scrapy.Spider): n 阅读全文

摘要： import requestsfrom lxml import etreeimport timeimport threadingfrom queue import Queueimport randomclass QiushiSpider(object): def __init__(self): se 阅读全文

摘要： Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器），可以接收指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏 PhantomJS 是一个基于Webkit的“ 阅读全文

摘要： import requestsimport reclass Anjuke(object): def __init__(self): self.url = "https://beijing.anjuke.com/sale/huairou/o5/" self.headers = {"User-Agent 阅读全文

摘要： import requests#这是个含有cookie的爬虫项目def renren_login_profile(): headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, li 阅读全文

摘要： import requests#第一个爬虫项目kw = {'wd':'12306'}headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19 阅读全文