随笔分类 - python
摘要：参考教程： https://blog.csdn.net/jyhhhhhhh/article/details/54627850
阅读全文
摘要：详情请看： https://blog.csdn.net/u010358168/article/details/79749149
阅读全文
摘要：由于在windows操作系统中已经安装了python2.7，之前安装过python3.4，现已卸载， 将python3.6安装在C:\Python36目录下 然后进入C:\Python36目录下执行pip -V能正常使用 但是为了同时使用python2和python3，于是将python.exe改名
阅读全文
摘要：F:\Scrapy\spider3\Scripts\python.exe F:/Django1/spider3/threading3.pyboss:今晚大家都要加班到22：00Falseworker:哎，命苦呀worker:哎，命苦呀worker:哎，命苦呀worker:哎，命苦呀worker:哎，
阅读全文
摘要：#-*-coding:utf8-*-#参考学习官方资料 http://docs.python-requests.org/zh_CN/latest/user/quickstart.html#POST请求与POST的提交方式(比如post请求方式，application/json编码后的提交)#appl
阅读全文
摘要：目前已知 cx_freeze支持python3生成可执行文件 cx_freeze的操作 参考http://keliang.blog.51cto.com/3359430/661884
阅读全文
摘要：一.命名空间与作用域 命名空间是名字和对象的映射，就像是字典，key是变量名，value是变量的值 1.命名空间 2.命名空间的分类 （1）内置名称空间: 随着python解释器的启动而产生，包括异常类型、内建函数和特殊方法，可以代码中任意地方调用 （2）全局名称空间：文件的执行会产生全局名称空间，
阅读全文
摘要：简介：js2py安装库现在写爬虫很多的网站都开始用js 加密技术了，所以这个库必须要学的，不然你就没法玩了使用教程js2py 执行单个语句js2py 执行函数总结：现在写爬虫很多的网站都开始用js 加密技术了，所以这个库必须要学 ... js2py安装库 现在写爬虫很多的网站都开始用js 加密技术了
阅读全文
摘要：1..单继承时super()和__init__()实现的功能是类似的 使用super()继承时不用显式引用基类 2. super()只能用于新式类中。（把基类改为旧式类，即不继承任何基类） 3。 3. super不是父类，而是继承顺序的下一个类，在多重继承时会涉及继承顺序，super（）相当于返回继
阅读全文
摘要：背景 我们在，网页抓取，模拟登陆，抓取动态网页等等，过程中，往往要先通过工具去分析，如何访问一个url，然后获得对应的数据，然后搞懂逻辑了，再用代码实现出来。 而此时，就涉及到，访问对应的url是GET是，要发送，一堆的Header， 而如果是POST的话，还需要有额外的post data要发送；
阅读全文
摘要：1.MongoDB 是面向文档的数据库，放弃关系型数据库就是为了获得更加方便的的扩展性。2.MongoDB 最初的设计就是考虑到了扩展的文集，使用面向文档的模型使其可以在多台服务器之间分割数据平衡集群的负载，自动从排文档。3.管理上的方便，管理员只负责启动服务器就行，当主服务器挂掉后，MongoDB
阅读全文
摘要：#coding:utf-8 import cv2 import time import numpy as np ''' 函数名：cv2.VideoCapture() 功 能：通过摄像头捕获实时图像数据 返回值：有 参数一：摄像头代号，0为默认摄像头，笔记本内建摄像头一般为 0 或者填写视频名称直接加载本地视频文件 ''' cap =cv2.VideoCapture(0)#创建一...
阅读全文
摘要：#-*- coding:utf8-*-#读取图片'''1.cv2.imread(文件名，属性) 属性：指定图像用哪一种方式读取文件 cv2.IMREAD_COLOR：读入彩色图像，默认参数，Opencv 读取彩色图像为BGR模式 ！！！注意 cv2.IMREAD_GRAYSCALE：读入灰度图像。2
阅读全文
摘要：总结：我们声明了一个学生类，分别用但下划线和双下划线定义了一个成员，然后我们试图访问成员，我们发现：双下划线的成员无法直接访问，通过__dict__我们看到，在类的内部，Python自动将__name 解释成 _student__name,于是我们用 _student__name访问，这次成功。然而
阅读全文
摘要：在middlewares.py中定义一个class: spider中的代码： 把selenium集成到scrapy中主要改变的就是这两处地方。 以上的在scrapy中嵌入selenium的chrome并不是异步的，所以效率会变差。 这里都是部分代码，完整代码链接：https://github.com
阅读全文
摘要：一。安装selenium pip install selenium 二。安装相应浏览器的Driver(selenium 文档) http://selenium-python.readthedocs.io/api.html 推荐使用Chrome 三。selenium的使用 有时会遇到取不到内容的情况，
阅读全文
摘要：1.docopt模块的用法 注意：文档注释之前不能再有文档注释，不然会报类型错误 输出结果 2.处理命令行参数 命令行参数存储在变量sys.argv中。sys.argv列表中的第一项总是一个字符串，它包含程序的文件名（‘pw.py’）第二项应该是第一个命令行参数。 项目一：获取口令 准备知识 pyp
阅读全文
摘要：一.遇到的问题总结 scrapy中爬取的多有数据（通过spider.py）,最后必须通过items实例格式化后，传递到pipelines中进行进一步的处理（注意scrapy内置的pipelines文件，像下载图pain） Request中meta参数的作用是传递信息给下一个函数，使用过程可以理解成：
阅读全文
摘要：前期的配置工作在之前的一篇博文中有提到过，现在直接进行爬取 一.创建项目 二.创建spider文件 三.利用chrome浏览器分析出房价和标题的两个字段的xpath表达式，开始编写patubole.py文件。网络的爬取是通过这个文件进行的 以下代码是最终的代码 所建的patubole.py文件必须实
阅读全文
摘要：一.元素的包含提取 contains() 例：span标签中class包含bookmark-btn 二.css选择器 3.css选择器提取标签中的值 h1标签包含的文字 4.css选择器提取标签中属性的值 二.在你爬取网页的时候，最普遍的事情就是在页面源码中提取需要的数据，我们有几个库可以帮你完成这
阅读全文
浙公网安备 33010602011771号