摘要：
1.imread函数 首先，我们看imread函数，可以在OpenCV官方文档中查到其原型如下： 在Windows操作系统下，OpenCV的imread函数支持如下类型的图像载入： JPEG文件 - *.jpeg, *.jpg, *.jpe JPEG 2000文件- *.jp2 PNG图片 - *. 阅读全文
posted @ 2018-11-13 09:56
NAVYSUMMER
阅读(433)
评论(0)
推荐(0)
摘要：
本教程针对那些想要设置一个生产web服务器的Django用户。它介绍了设置Django以使得其与uWSGI和nginx工作良好的必要步骤。它涵盖了所有三个组成部分，提供了一个web应用和服务器软件的完整栈。 Django 是一个高层次的Python Web框架，鼓励快速开发和干净实用的设计。 ngi 阅读全文
posted @ 2018-11-12 16:50
NAVYSUMMER
阅读(361)
评论(0)
推荐(0)
摘要：
一、什么是Selenium selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。Selenium的核心Selenium Core基于JsUnit 阅读全文
posted @ 2018-11-10 18:07
NAVYSUMMER
阅读(260)
评论(0)
推荐(0)
摘要：
一、串行爬虫 我们之前使用的爬虫方式，都是一个页面接着一个页面下载，也就是使用串行的方式进行爬虫。但是显然这种方式下载的速度是非常的慢的，特别是当我们需要下载大量页面的时候这个问题就会变得更加的突出。所以本节内，就学习如何进行多线程和多进程的并行爬虫。 二、多线程爬虫 我们在使用多线程进行爬虫的时候 阅读全文
posted @ 2018-11-10 16:23
NAVYSUMMER
阅读(211)
评论(0)
推荐(0)
摘要：
Python 缓存与持久化 缓存算是持久化的一个子集，但是缓存又有自己的过期策略和缓存级别，而持久化基本无过期策略之说。缓存与持久化并不是 Python 爬虫特有的，其他语言都有涉及，所以我们下面既然说要把缓存和持久化放在一起说是建立在持久化缓存的基础上，因为多级缓存策略的内存缓存等不在我们这篇的讨 阅读全文
posted @ 2018-11-10 15:55
NAVYSUMMER
阅读(458)
评论(0)
推荐(0)
摘要：
方法一：正则表达式 方法二：Beautiful Soup 安装： pip install beautifulsoup4 方发三：Lxml 安装 pip install lxml 阅读全文
posted @ 2018-11-10 11:00
NAVYSUMMER
阅读(1046)
评论(0)
推荐(0)
摘要：
目前，我们的爬虫会跟踪所有之前没有访问过的链接。但是，一些网站会动态生成页面内容，这样就会出现无限多的网页。比如，网站有一个在线日历功能，提供了可以访问下个月和下一年的链接，那么下个月的页面中同样会包含访问再下个月的链接，这样页面就会无止境地链接下去，这种情况被称为爬虫陷阱。 想要避免陷入爬虫陷阱， 阅读全文
posted @ 2018-11-10 10:24
NAVYSUMMER
阅读(399)
评论(0)
推荐(0)
摘要：
工具： python+urllib2 用法： 访问外国网站的代理方案 阅读全文
posted @ 2018-11-10 10:09
NAVYSUMMER
阅读(110)
评论(0)
推荐(0)
摘要：
工具： python+urllib/urllib2/urllib3.... 安装： pip install urllib/urllib2/urllib3 urllib2用法： 阅读全文
posted @ 2018-11-10 09:56
NAVYSUMMER
阅读(322)
评论(0)
推荐(0)
摘要：
工具： python+python-whois 安装： 用法： 阅读全文
posted @ 2018-11-10 09:50
NAVYSUMMER
阅读(359)
评论(0)
推荐(0)
浙公网安备 33010602011771号