niansi - 博客园

PyQuery使用

摘要： PyQuery库是一个非常强大的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。它的语法与 jQuery 几乎完全相同，所以不用再去费心记一些奇怪的方法了。官网地址：http:// 阅读全文

posted @ 2018-03-12 09:30 niansi 阅读(216) 评论(0) 推荐(0)

python对比图片

摘要：通过python的PIL模块可以对比两张图片是否相同，具体源码如下from PIL import Image from PIL import ImageChops def compare_images(path_one, path_two, diff_save_location): """ 比较图片阅读全文

posted @ 2018-03-05 11:42 niansi 阅读(1657) 评论(0) 推荐(0)

scrapy框架学习

摘要：一、初窥Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amazon Associates 阅读全文

posted @ 2018-02-26 11:25 niansi 阅读(259) 评论(0) 推荐(0)

python简单分布式爬虫

摘要：本章讲的依旧是实战项目，实战内容是打造分布式爬虫，这对初学者来说，是一个不小的挑战，也是一次有意义的尝试。这次打造的分布式爬虫采用比较简单的主从模式，完全手工打造，不使用成熟框架，基本上涵盖了前六章的主要知识点，其中涉及分布式的知识点是分布式进程和进程间通信的内容，算是对Python爬虫基础篇的总结阅读全文

posted @ 2018-02-04 22:52 niansi 阅读(3183) 评论(0) 推荐(0)

分布式爬虫的设计策略

摘要：以下是三种分布式爬虫的设计分析，分布式系统有待进一步了解与学习。策略一： Slaver端从Master端拿任务（Request/url/ID）进行数据抓取，在抓取数据的同时也生成新任务，并将任务抛给Master。Master端只有一个Redis数据库，负责对Slaver提交的任务进行去重、加入待爬阅读全文

posted @ 2018-01-28 20:59 niansi 阅读(299) 评论(0) 推荐(0)

appium ios端自动化测试配置

摘要：一、安装环境介绍macOS 10.12.4 Xcode 8.3.2 适用机型：iOS9 及以上机型二、Appium源码安装Xcode升级8.2之后不再支持UIAutomation，转而使用XCUITest；故当Xcode版本为8.2及以上版本时，只能安装Appium 1.5.3之后版本。Appiu 阅读全文

posted @ 2018-01-21 19:40 niansi 阅读(523) 评论(0) 推荐(0)

pyftpdlib 搭建ftp环境

摘要：环境搭建： pythonwindows/linuxpip install pyftpdlib (安装失败请到这里下载：https://pypi.python.org/pypi/pyftpdlib/)一行代码搞定的事：到你打算分享的目录下执行，python -m pyftpdlib 然后我们来看一下阅读全文

posted @ 2018-01-08 00:04 niansi 阅读(4063) 评论(0) 推荐(0)

chrome 获取移动端页面元素信息

摘要：一：背景在使用appium进行app端自动化测试的时候，一般使用的是uiautomatorviewer来给页面元素做定位。但如果遇到页面元素类型是webview的时候，则只能定位整个页面，而不能更进一步定位页面内容，这通常是不方便的。经过一番搜索，发现可以使用谷歌浏览器的inspect功能来实现类似阅读全文

posted @ 2018-01-02 00:55 niansi 阅读(2900) 评论(1) 推荐(0)

linux上使用chrome自动化测试（无界面）

摘要： selenium自动化测试主要是用于有图形界面的系统上，对于无图形界面的情况可以通过以下方法来实现服务器信息 [root@spider01 ~]# hostnamectl Static hostname: spider01 Icon name: computer-vm Chassis: vm Ma 阅读全文

posted @ 2017-12-23 23:10 niansi 阅读(1335) 评论(0) 推荐(0)

python 实现排序算法

摘要：一、冒泡排序原理：依次比较相邻的两个数，将小数放在前面，大数放在后面。即首先比较第1个和第2个数，将小数放前，大数放后。然后比较第2个数和第3个数，将小数放前，大数放后，如此继续，直至比较最后两个数，将小数放前，大数放后。 def bubble_sort(data): for i in range 阅读全文

posted @ 2017-12-17 20:38 niansi 阅读(198) 评论(0) 推荐(0)