_DL

摘要： 今日内容： - 爬取豌豆荚爬取豌豆荚： 1.访问游戏主页 https://www.wandoujia.com/category/6001 2.点击查看更多，观察network内的请求 - 请求url page2: https://www.wandoujia.com/wdjweb/api/catego 阅读全文

摘要： 昨日回顾: 一 爬取豆瓣电影TOP250 1.爬取电影页 2.解析提取电影信息 3.保存数据 二 Selenium请求库 驱动浏览器往目标网站发送请求，获取响应数据。 - 不需要分析复杂的通信流程 - 执行js代码 - 获取动态数据 三 selenium使用 driver = webdriver.C 阅读全文

摘要： 昨日回顾： 一 爬虫基本原理 - 爬虫全过程 1.发送请求 2.接受响应数据 3.解析并提取有价值的数据 4.保存数据 二 Requests请求库 - GET url headers cookies - POST url headers cookies data 三 爬取校花网视频 1.通过主页解析 阅读全文

摘要： 今日内容：爬虫课程： 一 爬虫基本原理 二 request请求库一 爬虫基本原理 1、什么是爬虫？ 爬虫就是爬取数据 2、什么是互联网？ 由一堆网络设备，把一台台计算机互联到一起称之为互联网。 3、互联网建立的目的 数据的传递与数据的共享 4、什么是数据？ 例如： 电商平台的商品信息（） 链家、自如 阅读全文