摘要：
代理和cookie操作 一.基于requests模块的cookie操作 引言：有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使用之前requests模块常规操作时，往往达不到我们想要的目的，例如： #!/usr/bin/env python # - 阅读全文
posted @ 2018-06-04 20:02
pupilheart
阅读(563)
评论(0)
推荐(0)
摘要：
让我们基于tcp先制作一个远程执行命令的程序（命令ls -l ; lllllll ; pwd） res=subprocess.Popen(cmd.decode('utf-8'), shell=True, stderr=subprocess.PIPE, stdout=subprocess.PIPE) 阅读全文
posted @ 2018-06-04 16:24
pupilheart
阅读(293)
评论(0)
推荐(0)
摘要：
数据解析三种方式 引言：回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指 阅读全文
posted @ 2018-06-04 16:14
pupilheart
阅读(549)
评论(0)
推荐(0)
摘要：
requests模块 - 基于如下5点展开requests模块的学习 什么是requests模块 requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。 为什么要使用requests模块 因为在使用 阅读全文
posted @ 2018-06-04 16:10
pupilheart
阅读(369)
评论(0)
推荐(0)
浙公网安备 33010602011771号