摘要: 一、爬取豌豆荚: 1.访问游戏主页 https://www.wandoujia.com/category/6001 2.点击查看更多,观察network内的请求 - 请求url page2: https://www.wandoujia.com/wdjweb/api/category/more? ca 阅读全文
posted @ 2019-07-04 13:19 believe_dawn 阅读(194) 评论(0) 推荐(0)
摘要: 其他操作 爬取京东商品信息 bs4解析库之遍历文档树 bs4之搜索文档树 阅读全文
posted @ 2019-07-03 20:27 believe_dawn 阅读(113) 评论(0) 推荐(0)
摘要: 一 requests请求库爬取豆瓣电影信息 - 请求url https://movie.douban.com/top250 - 请求方式 GET - 请求头 user-agent cookies 二 selenium请求库 1、什么是selenium? 期初是一个自动化测试工具,原理是驱动 浏览器执 阅读全文
posted @ 2019-07-02 18:34 believe_dawn 阅读(151) 评论(0) 推荐(0)
摘要: 一 、爬虫基本原理 1、什么是爬虫? 爬虫就是爬取数据。 2、什么是互联网? 由一堆网络设备,把一台台的 计算机互联到一起称之为互联网。 3、互联网建立的目的 数据的传递与数据的共享。 4、什么是数据? 例如: 电商平台的商品信息(淘宝、京东、亚马逊) 链家、自如租房平台的房源信息 股票证券投资信息 阅读全文
posted @ 2019-07-01 20:37 believe_dawn 阅读(108) 评论(0) 推荐(0)