摘要：import requests,re,json import xmltodict from lxml import etree headers = { "User-Agent": 'xxxxxxx', "Accept-Language": "xxxxxx", "Host": "xxxxxx", "C 阅读全文

摘要：### Python网络爬虫之requests模块 ###### 什么是requests模块 ​ request模块是python中原生的基于网络请求的模块，其主要作用是用来模拟浏览器发起请求。功能强大，用法简洁高效。在爬虫领域中占着半壁江山的地位。 ###### 为什么要使用request模块 ​ 阅读全文

摘要：构建爬虫系统（一） 一、实现目的 前面提到，我们的目标是构建一个基于技术博客的垂直搜索引擎，正所谓路要一步一步走，项目也要一节一节来，本节的目的很简单，就是带你构建搜索引擎的基石——可靠的爬虫系统。 爬虫是文档的重要来源，所以这一节也比较重要，我会从爬虫的基础讲起，爬虫的构成，如何编写爬虫等等，希望 阅读全文