pywjh

2018年11月10日

摘要： Scrapy——1 目录什么是Scrapy框架？ Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。多用于抓取大量静态页面。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常方便。 Scrapy使阅读全文

posted @ 2018-11-10 13:02 pywjh 阅读(444) 评论(0) 推荐(0)

Pyspider爬虫简单框架——链家网

摘要： pyspider 目录 pyspider简单介绍 pyspider的使用实战 pyspider简单介绍一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器官方文档阅读全文

posted @ 2018-11-10 10:53 pywjh 阅读(950) 评论(0) 推荐(0)

2018年10月31日

pip操作以及window和虚拟机中为pip更换一个国内的镜像源的方法

摘要：前言在学习PyQt5的过程中，参考王硕和孙洋洋的PyQt5快速开发与实战中，看到的关于Python开发技巧与实战，觉得挺好的所以将其摘抄了下来方便阅读。之后还有一个关于更换pip镜像源的方法，方便以后下载pip三方库的避免各种尴尬。目录 pip常用命令 pip参数解释国内PyPI镜像 PyP 阅读全文

posted @ 2018-10-31 19:16 pywjh 阅读(717) 评论(0) 推荐(0)

2018年10月28日

关于python字符串format的一些花式用法

摘要：目录：基础实战前提： python中字符串的format功能非常强大，可以说完全能够替代其他的字符串使用方法，但是在后期的项目开发中使用的并不是特别的多，以至于想用的时候会想不起来准确的使用方法，所以在这里汇总一下format的常用方法，方便以后查阅基础 format的大括号用法可以实现字阅读全文

posted @ 2018-10-28 21:31 pywjh 阅读(4157) 评论(0) 推荐(0)

2018年10月23日

面向对象的程序设计技术简介

摘要： Object-Orientated Programming 之前面试遇到过这个问题，叫我谈一谈理解，因为垃圾，所以选择做笔记（内容摘抄自计算机操作系统） 1. 面向对象技术的基本概念面向对象技术是20世纪80年代初提出并很快流行起来的。该技术是基于“抽象”和“隐蔽”原则来控制大型软件的复杂度的。阅读全文

posted @ 2018-10-23 14:09 pywjh 阅读(621) 评论(0) 推荐(0)

关于PyQt5，在pycharm上的安装步骤及使用技巧

摘要：前序之前学习了一款GUI图形界面设计的Tkinter库，但是经大佬的介绍，PyQT5全宇宙最强，一脸的苦笑毫不犹豫的选择转战PyQT5，在学习之前需要先安装一些必须程序，在一番查阅后，发现PyQt5的学习存在两种学习工具，一种是Eric6，单独的图形界面编写脚本，（还是用python编写的），阅读全文

posted @ 2018-10-23 12:14 pywjh 阅读(18302) 评论(0) 推荐(0)

2018年10月17日

Cookie的Python爬虫应用

摘要： Cookie的Python爬虫应用目录 Cookie是什么 Cookie的作用 Cookie的内容 domain属性 path属性 expires/Max-Age属性 Cookie的爬虫应用 Cookie是什么 Cookie，有时也用其复数形式 Cookies，英文是饼干的意思。指某些网站为了辨别阅读全文

posted @ 2018-10-17 17:30 pywjh 阅读(241) 评论(0) 推荐(0)

2018年10月14日

selenium等待

摘要：简介在selenium操作浏览器的过程中，每一次请求url，selenium都会等待页面加载完成以后，才会将操作权限在交给我们的程序。但是，由于ajax和各种JS代码的异步加载问题，当一个页面被加载到浏览器时，该页面内的元素可以在不同的时间点被加载，这就使得元素的定位变得十分困难，当元素不阅读全文

posted @ 2018-10-14 20:35 pywjh 阅读(250) 评论(0) 推荐(0)

selenium动作链

摘要：简介一般来说我们与页面的交互可以使用Webelement的方法来进行点击等操作。但是，有时候我们需要一些更复杂的动作，类似于拖动，双击，长按等等。这时候就需要用到我们的Action Chains（动作链）了。简例在导入动作链模块以后，需要声明一个动作链对象，在声明时将webdriver当作阅读全文

posted @ 2018-10-14 19:48 pywjh 阅读(1080) 评论(0) 推荐(0)

seleniumd对象的操作方法，属性，keys

摘要：这是通过find方法找到的页面元素，此对象提供了多种方法，让我们可以与页面元素进行交互，例如点击、清空。目录： 1. 方法 2. 属性 3. keys 方法 clear()清空如果当前元素中有文本，则清空文本 click()单击点击当前元素 get_attribute(name)获取对象属性阅读全文

posted @ 2018-10-14 16:33 pywjh 阅读(968) 评论(0) 推荐(0)

selenium常用操作，查找元素，操作Cookie，获取截图，获取窗口信息，切换，执行js代码

摘要：目录： 1. 常用操作 2. 查找元素 3. 操作Cookie 4. 获取截图 5. 获取窗口信息 6. 切换 7. 执行JS代码简介 selenium.webdriver.remote.webdriver.WebDriver 这个类其实是所有其他Webdriver的父类，例如Chrome We 阅读全文

posted @ 2018-10-14 15:03 pywjh 阅读(1928) 评论(0) 推荐(0)

Selenium启动项参数设置

摘要：再Selenium中使用不同的Webdriver可能会有不一样的方法，有些相同的操作会得到不同的结果，本文主要介绍的是Chrome()的使用方法。其他的Webdriver可以参考官方文档 Chrome Webdriver Options 简介这是一个Chrome的参数对象，再此对象中使用add 阅读全文

posted @ 2018-10-14 11:09 pywjh 阅读(15288) 评论(0) 推荐(0)

Selenium的安装和简单实用——PhantomJS安装

摘要：简介 Selenium是一个用于Web应用程序测试的工具。 Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Firefox，Safari，Chrome，Opera等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应阅读全文

posted @ 2018-10-14 10:00 pywjh 阅读(1466) 评论(0) 推荐(0)

2018年10月12日

图像处理技巧

摘要：验证码大多是数字、字母的组合，国内也有使用汉字的。在这个基础上增加噪点、干扰线、变形、重叠、不同字体颜色等方法来增加识别难度。相应的，验证码识别大体可以分为下面几个步骤灰度处理增加对比度(可选) 二值化降噪倾斜校正分割字符建立训练库识别灰度化像素点是最小的图像单元，一张图片由阅读全文

posted @ 2018-10-12 16:37 pywjh 阅读(579) 评论(0) 推荐(0)

Pillow 模块~Python图像处理

摘要：什么是验证码？验证码（CAPTCHA）是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全自动区分计算机和人类的图灵测试）的缩写。是一种用来区分用户是计算机还是人的公共全自动程序。验证码的作阅读全文

posted @ 2018-10-12 16:29 pywjh 阅读(2444) 评论(0) 推荐(0)

懦夫从未启程，弱者死于途中

公告