| | | |

2019年8月4日

摘要：一、Scrapy爬虫框架介绍 Scrapy：功能强大快速的网络爬虫框架，非常优秀的python第三方库，也是基于python实现网络爬虫的重要的技术路线 Scrapy的安装 pip3 install scrapy 安装后小测：执行scrapy -h scrapy不是一个简单的函数功能库，而是一个爬虫阅读全文

posted @ 2019-08-04 17:24 Luna彬阅读(361) 评论(0) 推荐(0)

爬虫实例

摘要：实例1：中国大学排名定向爬虫功能描述输入：大学排名URL链接输出：大学排名信息的屏幕输出（排名，大学名称，总分）技术路线：requests-bs4 定向爬虫：仅对输入URL进行爬取，不扩展爬取程序的结构设计步骤1：从网络上获取大学排名网页内容getHTMLText() 步骤2：提取网页内阅读全文

posted @ 2019-08-04 12:00 Luna彬阅读(4298) 评论(0) 推荐(0)