追梦路上前行

2018年12月11日

scrapy框架简介和配置使用

摘要： scrapy框架的简介和基础使用 概念：为了爬取网站数据而编写的一款应用框架。框架其实就是一个集成了相应的功能且具有很强通用性的项目模板。 安装： 1. linux mac os:pip install scrapy 直接pip就能安装完成 2. win:安装比较麻烦，按下面步骤 pip insta 阅读全文

posted @ 2018-12-11 10:41 hello1230 阅读(152) 评论(0) 推荐(0)

requests模块

摘要： 基于requests模块发起get请求 爬取百度首页的页面数据 import requests#指定urlurl = 'https://www.baidu.com/' #发起get请求:get方法会返回请求成功的相应对象response = requests.get(url=url) #获取响应中的 阅读全文

posted @ 2018-12-11 10:28 hello1230 阅读(101) 评论(0) 推荐(0)

导航