随笔分类 - 爬虫
摘要:一、 memcached & redis 是什么? 二、 memcached & redis有什么区别? 三、 memcached 安装: 启动Memcached memcached -d -m 10 -u root -l 10.211.55.4 -p 12000 -c 256 -P /tmp/me
阅读全文
摘要:Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Ser
阅读全文
摘要:问:10个URL,爬虫获取到数据? 一、 串行 二、 线程、进程 三、 异步非阻塞 a. asyncio import asyncio @asyncio.coroutine def fetch_async(host, url='/'): print(host, url) reader, writer
阅读全文
摘要:开发web微信 总结: 具体代码如下: urlpatterns = [ url(r'^admin/', admin.site.urls), url(r'^login.html$', views.login), url(r'^check_login.html$', views.check_login)
阅读全文
摘要:1. 爬虫基本操作 例如舆情系统: 获取汽车之家新闻放到自己数据库里,创建自己的app,发布内容,注明来源,自己创业。 Python实现: 示例一:爬取汽车之家新闻 import requests from bs4 import BeautifulSoup response = requests.g
阅读全文


浙公网安备 33010602011771号