摘要:
tomorrow是我最近在用的一个爬虫利器,该模块属于第三方的模块,使用起来非常的方便,只需要用其中的threads方法作为装饰器去修饰一个普通的函数,既可以达到并发的效果,本篇将用实例来展示tomorrow的强大之处。后面文章将对tomorrow的实现原理做进一步的分析。 1.安装第三方包 2.普 阅读全文
posted @ 2019-05-31 23:40
Vinay
阅读(1820)
评论(0)
推荐(0)
摘要:
1. 前言 在执行一些 IO 密集型任务的时候,程序常常会因为等待 IO 而阻塞。比如在网络爬虫中,如果我们使用 requests 库来进行请求的话,如果网站响应速度过慢,程序一直在等待网站响应,最后导致其爬取效率是非常非常低的。 为了解决这类问题,本文就来探讨一下 Python 中异步协程来加速的 阅读全文
posted @ 2019-05-31 23:34
Vinay
阅读(4785)
评论(2)
推荐(4)
摘要:
yield 关键字 yield是在:PEP 255 -- Simple Generators 这个pep引入的 yield只能在函数内部使用,包含yield语句的函数称为生成器函数 当调用生成器函数时,并不会执行函数体中的代码,而是返回一个生成器对象 每次调用生成器对象的next()方法时,才会执行 阅读全文
posted @ 2019-05-31 23:28
Vinay
阅读(186)
评论(0)
推荐(0)
摘要:
一、介绍 asyncio 是python3.4 引入的一个新的并发模块,主要通过使用coroutines 和 futures 来让我们更容易的去实现异步的功能,并且几乎和写同步代码一样的写代码,还没有烦人的回调。 在2018年6月 3.7的更新中针对asyncio的api进行了一些升级,主要是关于t 阅读全文
posted @ 2019-05-31 23:26
Vinay
阅读(966)
评论(0)
推荐(0)
摘要:
HTML介绍 Web服务本质 浏览器发请求 --> HTTP协议 --> 服务端接收请求 --> 服务端返回响应 --> 服务端把HTML文件内容发给浏览器 --> 浏览器渲染页面 HTML是什么? 超文本标记语言(Hypertext Markup Language, HTML)是一种用于创建网页的 阅读全文
posted @ 2019-05-31 23:20
Vinay
阅读(110)
评论(0)
推荐(0)
摘要:
linux 上安装mysql8.0 mysql版本8.0.16 MySQL Community 操作系统centos7 准备工作: mysql8.0 rpm文件 安装步骤: 1. 下载mysql的repo源,下载地址: 进入linux系统,输入指令: 2. 安装mysql-community-rel 阅读全文
posted @ 2019-05-31 23:09
Vinay
阅读(3503)
评论(0)
推荐(0)
摘要:
Python3安装 系统类型CentOS / 7.5 x86_64 (64bit) 一、python的安装 安装python3.6可能使用相关软件 yum install wget yum groupinstall 'Development Tools' yum install -y ncurses 阅读全文
posted @ 2019-05-31 23:04
Vinay
阅读(2363)
评论(0)
推荐(0)
摘要:
一、JavaScript概述 二、ECMAScript和JavaScript的关系 1996年11月,JavaScript的创造者--Netscape公司,决定将JavaScript提交给国际标准化组织ECMA,希望这门语言能够成为国际标准。次年,ECMA发布262号标准文件(ECMA-262)的第 阅读全文
posted @ 2019-05-31 17:28
Vinay
阅读(249)
评论(0)
推荐(0)