Python Spider - 随笔分类 - onefine

Selenium登录知乎

摘要：解决selenium + chromedriver被知乎反爬的问题1当使用selenium去某宝或其他网站进行爬虫或者模拟登陆时，会出现滑动验证码，并且无论是用ActionChains滑还是手动滑，都会很委婉的告诉你“哎呀网络错误，请刷新”等等。why？经过... 阅读全文

posted @ 2019-03-05 19:50 onefine 阅读(861) 评论(0) 推荐(0)

HTTP代理池实现

摘要：话不多说，代码呈上：#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2019/2/26 13:02# @Author : One Fine__author__ = "One Fine"# @... 阅读全文

posted @ 2019-02-27 01:03 onefine 阅读(696) 评论(0) 推荐(0)

使用HTTP代理

摘要：原理：HTTP代理服务器可以比作客户端与Web服务器之间的一个信息中转站，客户端发送的HTTP请求和Web服务器返回的HTTP响应通过代理服务器转发给对方，如下图所示：爬虫程序在爬取某些网站时也需要使用代理，例如：由于网络环境因素，直接爬取速度太慢，使用代理... 阅读全文

posted @ 2019-02-23 09:19 onefine 阅读(779) 评论(0) 推荐(0)

摘要：GitHub APIURL: https://developer.github.comHTTP verbs1Where possible, API v3 strives to use appropriate HTTP verbs for each actio... 阅读全文

posted @ 2019-02-22 00:56 onefine 阅读(378) 评论(0) 推荐(0)

摘要：简介1在可供使用的网络库中，urllib和urllib2可能是投入产出比最高的两个，是Python中操作url的官方标准库。它们让你能够通过网络访问文件，就像这些文件位于你的计算机中一样。只需一个简单的函数调用，就几乎可将统一资源定位符（URL）可指向的任何... 阅读全文

posted @ 2019-02-18 01:06 onefine 阅读(4424) 评论(0) 推荐(0)

onefine