12 2020 档案

修改mysql密码
摘要：1.打开cmd进入MySQL的bin目录；（如我的路径是C:\Program Files\MySQL\MySQL Server 8.0\bin） 2.通过输入命令 mysql -u root -p 指定root用户登录MySQL，输入后回车会提示输入密码，输入我们原来的密码然后回车。 之后输入（如修 阅读全文
posted @ 2020-12-30 16:34 超级爱度假 阅读(94) 评论(0) 推荐(0)
seleinum页面加载显式等待和隐式等待
摘要：有时候，我们使用selenium用来获取一些元素时，需要等待页面将某些元素加载网站才能够获取我们需要的数据，所以，这时候我们就需要等待页面的功能。 1、显式等待（推荐） 显式等待是你在代码中定义等待一定条件发生后再进一步执行你的代码。 最糟糕的案例是使用time.sleep()，它将条件设置为等待一 阅读全文
posted @ 2020-12-27 11:30 超级爱度假 阅读(128) 评论(0) 推荐(0)
Scrapy中pipeline介绍以及多个爬虫的pipeline的使用
摘要：1.从pipeline的字典形式可以看出来，pipeline可以有多个，而且确实pipeline能够定义多个 2. 有多个爬虫，pipeline是怎样处理的呢？ 首先创建三个爬虫 ： 例如： 在一个scrapy的项目里面爬取三个网站： 今日头条、新浪、豆瓣 在cmd里面分别创建三个爬虫： 然后打开p 阅读全文
posted @ 2020-12-25 15:50 超级爱度假 阅读(1429) 评论(0) 推荐(1)
scrapy中 yield使用详解
摘要：1 import scrapy 2 from text_info.items import TextInfoItem 3 4 class A50zwSpider(scrapy.Spider): 5 name = '50zw' 6 allowed_domains = ['m.50zw.la'] 7 s 阅读全文
posted @ 2020-12-25 09:27 超级爱度假 阅读(744) 评论(0) 推荐(0)
Python中最常见括号()、[]、{}的区别
摘要：在Python语言中最常见的括号有三种，分别是：小括号（）、中括号[]、花括号{}；其作用也不相同，分别用来代表不同的Python基本内置数据类型。 Python中的小括号（）： 代表tuple元祖数据类型，元祖是一种不可变序列。创建方法很简单，大多数时候都是小括号括起来的 1 >>> tup = 阅读全文
posted @ 2020-12-24 11:55 超级爱度假 阅读(1658) 评论(0) 推荐(0)
python入门的120个基础练习
摘要：学习永远都是“理论”与“实践”相结合效果最好。 这里有python入门的120个基础练习（1~40），希望对你有用。 01-Hello World python的语法逻辑完全靠缩进，建议缩进4个空格。 如果是顶级代码，那么必须顶格书写，哪怕只有一个空格也会有语法错误。 下面示例中，满足if条件要输出 阅读全文
posted @ 2020-12-24 10:16 超级爱度假 阅读(3108) 评论(0) 推荐(0)
scrapy结合selenium进行动态加载页面内容爬取空气质量
摘要：http://www.pianshen.com/article/5116171672/https://www.cnblogs.com/pythoner6833/p/9049498.html 阅读全文
posted @ 2020-12-24 09:28 超级爱度假 阅读(84) 评论(0) 推荐(0)
chromedriver安装配置
摘要：http://chromedriver.storage.googleapis.com/index.html 找对对应本机chrome版本下载 直接将chromedriver.exe拷贝到python安装目录下Scripts目录中 阅读全文
posted @ 2020-12-24 09:25 超级爱度假 阅读(152) 评论(0) 推荐(0)
判断网页是真静态还是动态页面
摘要：用浏览器（以Chrome为例）打开一个网页，等待网页完全打开之后，F12开启浏览器控制台：选择console输入 alert(document.lastModified); 时间改变就是动态 阅读全文
posted @ 2020-12-24 09:22 超级爱度假 阅读(662) 评论(0) 推荐(0)
安装Scrapy时提示需要C++14.0库的解决方案
摘要：安装Twisted包来进一步安装Scrapy。 1.首先打开https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，找到对应版本的Twisted并下载到你的文件夹。此例为Twisted-20.3.0-cp39-cp39-win_amd64.whl 2. 阅读全文
posted @ 2020-12-24 08:56 超级爱度假 阅读(110) 评论(0) 推荐(0)
python 冒号在哪里用
摘要：函数，循环，条件，类声明 后面跟代码块block 进行缩进的加冒号 阅读全文
posted @ 2020-12-24 08:52 超级爱度假 阅读(180) 评论(0) 推荐(0)
Git - 个人出现的git错误整理
摘要：1.提示有： fatal: Not a valid object name: 'master'.这是因为本地的‘master’分支还并未创建，需要在‘commit’后才会自动创建 。这时： git add . //将所有的文件加到暂存区git commit -m 'after commmit, th 阅读全文
posted @ 2020-12-24 08:50 超级爱度假 阅读(610) 评论(0) 推荐(0)
vscode terminal 显示不正常解决方法
摘要：进入系统cmd.exe然后在窗口的最上方的边框上右键，选择属性，然后设置使用旧版控制台 阅读全文
posted @ 2020-12-24 08:48 超级爱度假 阅读(1412) 评论(0) 推荐(0)
安装pip的方法
摘要：Installing with get-pip.py To install pip, securely download get-pip.py 1 curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py Then run the followi 阅读全文
posted @ 2020-12-24 08:32 超级爱度假 阅读(105) 评论(0) 推荐(0)
vscode中配置github
摘要：1、安装git和vscode2、配置git（git 安装目录中） 1 git config --global user.name "xxx" 2 git config --global user.email "xxx@163.com" 3、vscode选择文件夹作为工作目录4、vscode中进入命令 阅读全文
posted @ 2020-12-23 22:53 超级爱度假 阅读(1229) 评论(0) 推荐(0)
爬虫路径XPath
摘要：XPath XPath，全称 XML Path Language，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。 1. XPath 概览 XPath 的选择 阅读全文
posted @ 2020-12-23 22:36 超级爱度假 阅读(326) 评论(0) 推荐(0)