随笔分类 - Python爬虫教程
摘要：上一节中，我们完成了对 settings.py 文件的基本配置，本节我们还需要对新建的项目进一步的操作，从而完成项目的初始化工作。在《settings.py配置文件详解》一文中，我们介绍了 INSTALLED_APPS 这个安装了 Django 自带应用的列表，诸如 admin 后台管理系统、aut
阅读全文
摘要：首先看一个简单的示例，比如把 C语言中文网首页的“title”抓取下来，如下所示： <html lang="zh-cn"> <head> <meta charset="gb2312" /> <meta name="baidu-site-verification" content="6B13HRSfY
阅读全文
摘要：Scrapy 是一个基于 Twisted 实现的异步处理爬虫框架，该框架使用纯 Python 语言编写。Scrapy 框架应用广泛，常用于数据采集、网络监测，以及自动化测试等。 提示：Twisted 是一个基于事件驱动的网络引擎框架，同样采用 Python 实现。 Scrapy下载安装 Scrapy
阅读全文
摘要：本节讲解 Python Selenium 爬虫实战案例，通过对实战案例的讲解让您进一步认识 Selenium 框架。实战案例目标：抓取京东商城（https://www.jd.com/）商品名称、商品价格、评论数量，以及商铺名称。比如输入搜索“Python书籍”，则抓取如下数据： {'name': '
阅读全文
摘要：Selenium 作为一款 Web 自动化测试框架，提供了诸多操作浏览器的方法，本节对其中的常用方法做详细介绍。 定位节点 Selenium 提供了 8 种定位单个节点的方法，如下所示： 定位节点方法 方法 说明 find_element_by_id() 通过 id 属性值定位 find_eleme
阅读全文
摘要：Selenium 是一个用于测试 Web 应用程序的自动化测试工具，它直接运行在浏览器中，实现了对浏览器的自动化操作，它支持所有主流的浏览器，包括 IE，Firefox，Safari，Chrome 等。Selenium 支持所有主流平台（如，Windows、Linux、IOS、Android、Edg
阅读全文
摘要：Beautiful Soup 简称 BS4（其中 4 表示版本号）是一个 Python 第三方库，它可以从 HTML 或 XML 文档中快速地提取指定的数据。Beautiful Soup 语法简单，使用方便，并且容易理解，因此您可以快速地学习并掌握它。本节我们讲解 BS4 的基本语法。 图1：BS4
阅读全文
摘要：多线程使用流程 Python 提供了两个支持多线程的模块，分别是 _thread 和 threading。其中 _thread 模块偏底层，它相比于 threading 模块功能有限，因此推荐大家使用 threading 模块。 threading 中不仅包含了 _thread 模块中的所有方法，还
阅读全文
摘要：在使用爬虫采集数据的规程中，我们会遇到许多不同类型的网站，比如一些网站需要用户登录后才允许查看相关内容，如果遇到这种类型的网站，又应该如何编写爬虫程序呢？Cookie 模拟登录技术成功地解决了此类问题。Cookie 是一个记录了用户登录状态以及用户属性的加密字符串。当你第一次登陆网站时，服务端会在返
阅读全文
摘要：JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，遵循欧洲计算机协会制定的 JavaScript 规范（简称 ECMAScript）。JSON 易于人阅读和编写，同时也易于机器解析和生成，能够有效的提升网信息的传输效率，因此它常被作为网络、程序之间传递信息的
阅读全文
摘要：本节讲解如何抓取豆瓣电影“分类排行榜”中的电影数据（https://movie.douban.com/chart），比如输入“犯罪”则会输出所有犯罪影片的电影名称、评分，效果如下所示： 剧情|喜剧|动作|爱情|科幻|动画|悬疑|惊悚|恐怖|纪录片|短片|情色|同性|音乐|歌舞|家庭|儿童|传记|历史
阅读全文
摘要：几乎所有浏览器都提供了抓取数据包的功能，因为浏览器为抓包提供了一个专门的操作界面，因此这种抓包方式也被称为“控制台抓包”。本节以 Chrome 浏览器为例进行抓包演示。 控制台抓包指的是利用浏览器开的发者调试工具抓取客户端与后端服务器交互的数据，它能够将网络传输中发送与接收的数据进行截获、重发和编辑
阅读全文
摘要：本节使用 Python 爬虫库完成链家二手房（https://bj.lianjia.com/ershoufang/rs/）房源信息抓取，包括楼层、区域、总价、单价等信息。在编写此程序的过程中，您将体会到 lxml 解析库的实际应用。 编写程序流程分析 打开链家网站后，第一步，确定网站是否为静态网站，
阅读全文
摘要：本节通过编写一个简单的爬虫程序，进一步熟悉 lxml 解析库的使用。 确定信息元素结构 首先明确要抓取信息的网页元素结构，比如电影名称、主演演员、上映时间。通过简单分析可以得知，每一部影片的信息都包含在<dd>标签中，而每一<dd>标签又包含在<dl>标签中，因此对于dd标签而言，dl标签是一个更大
阅读全文
摘要：lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 Xpath 表达式提供了良好的支持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 安装lxml库 lxml 属于 Python 第三方库，因此需要使用如下方法安装
阅读全文
摘要：为了帮助大家快速掌握 Xpath 表达式的使用，这里给大家推荐一款 Xpath 表达式匹配助软件，它就是 Xpath Helper。 Xpath Helper介绍 Xpath Helper 是一款谷歌应用商店推出的免费工具，因此您需要在谷歌商店进行下载。下载完毕后，谷歌浏览器会将其作为插件自动安装在
阅读全文
摘要：在编写爬虫程序的过程中提取信息是非常重要的环节，但是有时使用正则表达式无法匹配到想要的信息，或者书写起来非常麻烦，此时就需要用另外一种数据解析方法，也就是本节要介绍的 Xpath 表达式。 Xpath表达式 XPath（全称：XML Path Language）即 XML 路径语言，它是一门在 XM
阅读全文
摘要：本节编写一个快速下载照片的程序，通过百度图片下载您想要的前 60 张图片，并将其保存至相应的目录。本节实战案例是上一节《Python Request库安装和使用》图片下载案例的延伸。 分析url规律 打开百度图片翻页版（点击访问），该翻页版网址要妥善保留。其 url 规律如下： 第一页：https:
阅读全文
摘要：Requests 库中定义了七个常用的请求方法，这些方法各自有着不同的作用，在这些请求方法中 requests.get() 与 requests.post() 方法最为常用。请求方法如下所示： 常用请求方法 方法 说明 requests.request() 构造一个请求对象，该方法是实现以下各个方法
阅读全文
摘要：Python 提供了多个用来编写爬虫程序的库，除了前面已经介绍的 urllib 库之外，还有一个很重的 Requests 库，这个库的宗旨是“让 HTTP 服务于人类”。 Requests 是 Python 的第三方库，它的安装非常简便，如下所示： python -m pip install req
阅读全文
浙公网安备 33010602011771号