随笔分类 -  爬虫

爬取高德地图提供的省直辖县列表
摘要：一. 爬取高德地图提供的省直辖县列表 Url: 如下 https://lbs.amap.com/faq/webservice/webservice-api/geocoding/43267 1.1 代码 from requests_html import HTMLSession, Element ur 阅读全文
posted @ 2020-09-28 16:27 maoruqiang 阅读(378) 评论(1) 推荐(0)
爬虫基础
摘要：一. 简介 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。其实爬虫本质上是模拟浏览器向后端发送请求，获取数据，解析并且获得想要的数据，然后存储。 爬虫的价值主要体现在数据方面，爬取数据大致分为四步：发送 阅读全文
posted @ 2019-08-08 22:49 maoruqiang 阅读(465) 评论(0) 推荐(0)