摘要：
一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu的 阅读全文
posted @ 2018-02-01 15:48
H......T!
阅读(238)
评论(0)
推荐(0)
摘要：
一：概述： 算法（Algorithnm）： 一个计算过程，解决问题的方法。 时间复杂度： 用来估算运行效率的一个东西。 时间复杂度是用来估算算法运行时间的一个式子(单位)。 一般来说，时间复杂度高的算法比时间复杂度低的算法慢。 常见的时间复杂度(按效率排序) 不常见的时间复杂度 如何一眼判断时间复杂 阅读全文
posted @ 2018-01-31 22:55
H......T!
阅读(245)
评论(0)
推荐(0)
摘要：
一 简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库1、易用性 MongoDB是一个面向文档（document-oriented）的数据库，而不是关系型数据库。不采用关系型主要是为了获得更好得扩展性。当然还有一些其他好处，与关系数据库相比，面向文档的数据库不再有“行“（row）的概念取 阅读全文
posted @ 2018-01-31 19:52
H......T!
阅读(222)
评论(0)
推荐(0)
摘要：
Mongodb: Mysql: redis: 阅读全文
posted @ 2018-01-31 19:18
H......T!
阅读(142)
评论(0)
推荐(0)
摘要：
一：介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文
posted @ 2018-01-31 19:05
H......T!
阅读(251)
评论(0)
推荐(0)
摘要：
数据库设计 from django.db import models class UserInfo(models.Model): """ 员工表 """ name = models.CharField(max_length=32) def __str__(self): return self.nam 阅读全文
posted @ 2018-01-30 20:01
H......T!
阅读(656)
评论(0)
推荐(0)
摘要：
一 介绍 官网：http://selenium-python.readthedocs.io 二 安装 #安装：selenium+chromedriver pip3 install selenium 下载chromdriver.exe放到python安装路径的scripts目录中即可，注意最新版本是2 阅读全文
posted @ 2018-01-30 17:21
H......T!
阅读(254)
评论(0)
推荐(0)
摘要：
一 介绍 二 基于GET请求 1、基本请求 2、带参数的GET请求->params #在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容 import requests response=requests.get('https://www.baidu.com/s?wd=python&pn=1 阅读全文
posted @ 2018-01-30 17:07
H......T!
阅读(430)
评论(0)
推荐(0)
摘要：
一 爬虫是什么 二 爬虫的基本流程 三 请求与响应 四 Request from urllib.parse import urlencode import requests headers={ 'Accept':'text/html,application/xhtml+xml,application 阅读全文
posted @ 2018-01-30 16:48
H......T!
阅读(1163)
评论(0)
推荐(0)
摘要：
运行结果 你可能会很疑惑X和Y轴为什么是0~3和1~4。原因是这样的，这里我们只是为plot()命令提供 了一个list或者是array，matplotlib就会假设这个序列是Y轴上的取值，并且会自动为你生成X轴上的值。因为python中的范围是从0开始的，因此X轴就是从0开始，长度与Y的长度相同， 阅读全文
posted @ 2018-01-29 19:05
H......T!
阅读(4483)
评论(0)
推荐(0)
浙公网安备 33010602011771号