摘要：
scrapy框架编写模拟用户登录的三种方式： 方式一：携带cookie登录，携带cookie一般请求的url为登录后的页面，获取cookie信息应在登录后的页面获取，cookie参数应转成字典形式 方式二：表单dataform的post请求， 方式三：自动从f响应中找到form表单进行登录 阅读全文
posted @ 2018-11-28 23:02
L某人
阅读(663)
评论(0)
推荐(0)
摘要：
CrawlSpider（规则爬虫） 一 .简介：它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则(rule)来提供跟进link的方便的机制，从爬取的网页中获取link并继续爬取的工作更适合。 二.创建爬虫命令： 1.前 阅读全文
posted @ 2018-11-27 10:33
L某人
阅读(695)
评论(1)
推荐(0)
摘要：
设置进程池爬取拉钩网： 阅读全文
posted @ 2018-11-21 23:20
L某人
阅读(703)
评论(0)
推荐(0)
摘要：
多线程爬取二手房网页并将数据保存到mongodb的代码： 多线程爬取糗事百科： 阅读全文
posted @ 2018-11-21 23:14
L某人
阅读(939)
评论(0)
推荐(0)
摘要：
Python的pandas包对表格化的数据处理能力很强，而SQL数据库的数据就是以表格的形式储存，因此经常将sql数据库里的数据直接读取为dataframe，分析操作以后再将dataframe存到sql数据库中。而pandas中的read_sql和to_sql函数就可以很方便得从sql数据库中读写数 阅读全文
posted @ 2018-11-21 12:06
L某人
阅读(2718)
评论(0)
推荐(0)
摘要：
一、简介 XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。 参照 二、安装 pip3 install lxml 三 阅读全文
posted @ 2018-11-21 11:40
L某人
阅读(421)
评论(0)
推荐(0)
摘要：
【网络爬虫入门03】爬虫解析利器beautifulSoup模块的基本应用 1、引言 网络爬虫最终的目的就是过滤选取网络信息，因此最重要的就是解析器了，其性能的优劣直接决定这网络爬虫的速度和效率。BeautifulSoup可以通过定位HTML件中的标签来格式化和组织复杂的网络信息，尝试化平淡为神奇，用 阅读全文
posted @ 2018-11-21 11:31
L某人
阅读(296)
评论(0)
推荐(0)
摘要：
爬取招聘网的招聘信息： 预防反爬虫措施： 1.用户代理变换设置 2.不同ip代理的设置 3.设置用户cookie变化的信息 列举一下获取网络免费ip代理，并验证其是否可用的代码： 阅读全文
posted @ 2018-11-20 22:55
L某人
阅读(707)
评论(0)
推荐(0)
摘要：
import requests import time import hashlib import json inputInfo = input('请输入你想要翻译的内容:') # 请求的url必须是点击翻译后跳转出来的页面路由 url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule' # 观察f... 阅读全文
posted @ 2018-11-17 22:24
L某人
阅读(230)
评论(0)
推荐(0)
摘要：
第一种方法：通过本地浏览器保存的cookie进行登陆 第二种方法：实例化一个session对象，通过session对象发送post请求 阅读全文
posted @ 2018-11-17 22:16
L某人
阅读(3080)
评论(0)
推荐(0)
浙公网安备 33010602011771号