11 2017 档案

Scrapy
摘要：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 阅读全文
posted @ 2017-11-08 14:57 驴途人生 阅读(710) 评论(0) 推荐(0)
asyncio
摘要：在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 1 import requests 2 3 def fetch_async(url): 4 response = requests.get(url) 5 return response 阅读全文
posted @ 2017-11-08 14:39 驴途人生 阅读(685) 评论(0) 推荐(0)
BeautifulSoup
摘要：BeautifulSoup是一个模块，该模块用于接收一个HTML或XML字符串，然后将其进行格式化，之后遍可以使用他提供的方法进行快速查找指定元素，从而使得在HTML或XML中查找指定元素变得简单。 from bs4 import BeautifulSoup html_doc = """ <html 阅读全文
posted @ 2017-11-04 19:46 驴途人生 阅读(133) 评论(0) 推荐(0)
request
摘要：1、GET请求 # 1、无参数实例 import requests ret = requests.get('https://github.com/timeline.json') print ret.url print ret.text # 2、有参数实例 import requests payloa 阅读全文
posted @ 2017-11-04 19:29 驴途人生 阅读(510) 评论(0) 推荐(0)
KindEditor
摘要：下载 官网下载：http://kindeditor.net/down.php 本地下载：http://files.cnblogs.com/files/wupeiqi/kindeditor_a5.zip 3、文件夹说明 1 2 3 4 5 6 7 8 9 10 11 12 13 14 ├── asp 阅读全文
posted @ 2017-11-03 22:25 驴途人生 阅读(237) 评论(0) 推荐(0)