随笔分类 -  爬虫基础

摘要：scrapy框架的简介和基础使用 概念：为了爬取网站数据而编写的一款应用框架。框架其实就是一个集成了相应的功能且具有很强通用性的项目模板。 安装： 1. linux mac os:pip install scrapy 直接pip就能安装完成 2. win:安装比较麻烦，按下面步骤 pip insta 阅读全文

摘要：基于requests模块发起get请求 爬取百度首页的页面数据 import requests#指定urlurl = 'https://www.baidu.com/' #发起get请求:get方法会返回请求成功的相应对象response = requests.get(url=url) #获取响应中的 阅读全文