06 2020 档案

WebDriverWait 显示等待
摘要：显示等待：WebDriverWait 等待页面加载完成，找到某个条件发生后再继续执行后续代码，如果超过设置时间检测不到则抛出异常 WebDriverWait(driver, timeout, poll_frequency=0.5, ignored_exceptions=None) ——driver： 阅读全文
posted @ 2020-06-29 16:18 时光哥哥 阅读(471) 评论(0) 推荐(0)
用工具爬虎牙星秀VS用代码
摘要：先来个工具操作 1、获取链接https://www.huya.com/g/xingxiu 2、删除字段、增加字段、开始采集 3、启动 4、运行中 5、采的太多了我就停止了 6、导出数据Excel格式 7、查看本地文件 8、导入到mysql数据库 9、mysql配置 10、选择导出设置 11、查看my 阅读全文
posted @ 2020-06-28 14:38 时光哥哥 阅读(266) 评论(0) 推荐(0)
爬取西瓜视频
摘要：有水印视频 上面那个链接在浏览器打开就是播放地址 ，可以直接请求并保存视频 无水印视频 没有水印的视频是音频和视频分离的，在network下选择xhr 无水印的有一些加密参数暂时没有找到是怎么加密的 有水印的视频还有一种下载方式 代码如下 # -*- coding: utf-8 -*- # __au 阅读全文
posted @ 2020-06-26 15:08 时光哥哥 阅读(2876) 评论(0) 推荐(0)
scrapy命令基本用法
摘要：1.创建一个新项目： scrapy startproject myproject 2.在新项目中创建一个新的spider文件： scrapy genspider mydomain mydomain.com mydomain为spider文件名，mydomain.com为爬取网站域名 3.全局命令： 阅读全文
posted @ 2020-06-24 19:35 时光哥哥 阅读(470) 评论(0) 推荐(0)
scrapy数据流程
摘要：Spiders(爬虫):它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据 阅读全文
posted @ 2020-06-24 19:31 时光哥哥 阅读(250) 评论(0) 推荐(0)
Windows上安装-kivy
摘要：原文：https://kivy.org/doc/stable/installation/installation-windows.html#install-win-dist 如果您使用Anaconda，则可以使用以下命令安装kivy： $ conda install kivy -c conda-fo 阅读全文
posted @ 2020-06-18 18:01 时光哥哥 阅读(1836) 评论(0) 推荐(0)
selenium常用方法
摘要：一、常用库导入 1.from selenium import webdriver 导入webdriver模块 2.from selenium.webdriver import ActionChains 导入动作链类，动作链可以储存鼠标的动作，并一起执行 3.from selenium.webdriv 阅读全文
posted @ 2020-06-16 16:36 时光哥哥 阅读(913) 评论(0) 推荐(0)
selenium cookie登录
摘要：原文：https://www.cnblogs.com/CYHISTW/p/11685846.html 前言 爬虫方向的小伙伴们都知道网页爬虫经常遇到的问题就是登录账户，有些简单的网站我们可以简单的send key来输入账户密码就可以登录，但是有很多网站需要验证码之类的就不太好用了，这时候就体现到了c 阅读全文
posted @ 2020-06-16 16:24 时光哥哥 阅读(383) 评论(0) 推荐(0)