摘要：
今日内容 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 知识点回顾 xpath的解析流程 bs4的解析流程 常用xpath表达式 常用bs4解析方法 引入 有些时候，我们在使用爬虫程序去爬取一些用户相关信息的数据（爬取张三“人人网”个人主页数据）时，如果使
阅读全文
posted @ 2019-01-09 21:41
骑骡子赶猪
阅读(195)
推荐(0)
编辑
摘要：
一.HTTP协议 1.官方概念： HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。（虽然童鞋们将这条概念都看烂了，但是也没办法，毕竟这就是HTTP的权威官方
阅读全文
posted @ 2019-01-09 21:36
骑骡子赶猪
阅读(798)
推荐(0)
编辑
摘要：
什么是爬虫 爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。 哪些语言可以实现爬虫 1.php：可以实现爬虫。php被号称是全世界最优美的语言（当然是其自己号称的，就是王婆卖瓜的意思），但是php在实现爬虫中支持多线程和多进程方面做的不好。 2.java：可以实现爬虫。java
阅读全文
posted @ 2019-01-09 21:36
骑骡子赶猪
阅读(107)
推荐(0)
编辑
摘要：
一、什么是Jupyter Notebook？ 1. 简介 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍 简而言之，Jupyter Notebook是以网页的形式打开，可以在
阅读全文
posted @ 2019-01-09 21:34
骑骡子赶猪
阅读(111)
推荐(0)
编辑
摘要：
requests模块 - 基于如下5点展开requests模块的学习 什么是requests模块 requests模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占据着半壁江山的地位。 为什么要使用requests模块 因为在使用
阅读全文
posted @ 2018-12-05 08:32
骑骡子赶猪
阅读(280)
推荐(0)
编辑
摘要：
人生苦短，我用Python（目录） 目录 一、计算机基础 二、Python基础 三、函数 四、常用模块 五、模块和包 六、面向对象 七、网络编程socket 八、数据库 九、前端 十、Python Web框架 十一、版本控制--GIT 十二、爬虫 十三、前端框架之VUE 十四、量化投资与Python
阅读全文
posted @ 2018-11-22 18:20
骑骡子赶猪
阅读(187)
推荐(0)
编辑
