摘要：
本案例以爬取电影天堂第一级页面的电影名称和点击链接后二级页面的img地址，并将第一级的名称和第二级页面的图片地址一起写入json文件，涉及到多级页面数据的组合。 创建项目和页面命令这里就不说了，可以参考我之前的文章，这里主要说明核心代码。 1.spiders下的mv.py代码 import scra 阅读全文
posted @ 2022-05-31 09:20
创客未来
阅读(1116)
评论(0)
推荐(0)
摘要：
本案例以爬取当当网的书名和图片，利用多个管道执行下载，一个管道执行写json文件，一个管道执行下载图片并保存本地 1.创建项目 scrapy startproject scrapy_dangdang 2.创建一个爬虫文件 爬取地址：http://category.dangdang.com/cp01. 阅读全文
posted @ 2022-05-30 16:21
创客未来
阅读(470)
评论(0)
推荐(0)
摘要：
什么是scrapy shell ？ scrapy终端，是一个交互终端，供您在未启动spider的情况下尝试及调试您的爬取代码/其本意是用来测试提取数据的代码，不过您可以将其作为正常的python终端，在上面测试任何的python代码。 该终端是用来测试xpath或css表达式，查看他们的工作方式及从 阅读全文
posted @ 2022-05-30 13:28
创客未来
阅读(49)
评论(0)
推荐(0)
摘要：
1.scrapy的项目结构 scrapy项目的结构 项目名字 项目名字 spiders文件夹（存储的是爬虫文件） init.py(默认文件) 自定义的爬虫文件（核心功能文件*） init items 定义数据结构的地方，爬取的数据都包含那些 middleware 中间件 例如：代理 pipeline 阅读全文
posted @ 2022-05-30 11:14
创客未来
阅读(359)
评论(0)
推荐(0)
摘要：
1.scrapy是什么？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 2.安装scrapy pip install scrapy -i https://pypi.douban.com/simple 常见报错及解 阅读全文
posted @ 2022-05-27 16:34
创客未来
阅读(82)
评论(0)
推荐(0)
摘要：
#通过登录然后进入到主页面 # 通过找登录接口我们发现登录的时候需要的参数很多 # __VIEWSTATE: Q9zeukk7PE5h9KCMT1uBtHMfNp6+Kfkwk5KywR928SJ/NJwdBGx04xq662yh/fA3/UuhXe7hlF0C19KQ3PHIFzj37k4o/UH 阅读全文
posted @ 2022-05-27 15:52
创客未来
阅读(225)
评论(0)
推荐(0)
摘要：
1.基本使用 1.1 文档 官方文档： http://cn.python-requests.org/zh_CN/latest/ 快速上手： http://cn.python-requests.org/zh_CN/latest/user/quickstart.html 1.2.安装 pip insta 阅读全文
posted @ 2022-05-26 16:53
创客未来
阅读(43)
评论(0)
推荐(0)
摘要：
Chrome-headless 模式，Google针对Chrome浏览器59版本新增加的一种模式，可以让你不打开UI界面的情况下使用Chrome浏览器，所以运行效果于Chrome保持完美一致。 from selenium import webdriver from selenium.webdrive 阅读全文
posted @ 2022-05-26 16:08
创客未来
阅读(191)
评论(0)
推荐(0)
摘要：
1.什么是Phantomjs？ （1）是一个无界面的浏览器 （2）支持页面元素查找，js的执行等 （3）由于不进行css和gui渲染，运行效率要比真实的浏览器要快很多 2.如何使用Phantomjs? 获取PhantomJS.exe文件路径path browser=webdriver.Phantom 阅读全文
posted @ 2022-05-26 15:54
创客未来
阅读(53)
评论(0)
推荐(0)
摘要：
1.访问元素信息 获取元素属性 .get_attribute('class') 获取元素文本 .text 获取标签名 .tag_name from selenium import webdriver from selenium.webdriver.common.by import By path = 阅读全文
posted @ 2022-05-26 15:43
创客未来
阅读(63)
评论(0)
推荐(0)
浙公网安备 33010602011771号