木林森__𣛧

摘要： 笔记-python -asynio 1. 简介 asyncio是做什么的？ asyncio is a library to write concurrent code using the async/await syntax. asyncio is used as a foundation for 阅读全文

摘要： 笔记-爬虫-去重/bloomfilter 1. 去重 为什么要去重？ 在爬虫中新页面或页面更新称为增量，爬取就叫增量爬取了。 识别增量，有以下几种可能的方法： 目前主要的方法是url过滤，大体上是哈希后匹配。至于说哈希什么内容（一般是url），怎么匹配（set，内存数据库）则需要视情况而定。 2. 阅读全文

摘要： 笔记-docker-3 使用 1. 镜像 image是docker最重要的概念，docker运行容器前需要本地存在对应的镜像，如果没有，会尝试从默认镜像库下载。 1.1. 镜像获取 查看本地镜像 docker images 查看远程镜像 docker search <name> 拉取远程镜像 doc 阅读全文

摘要： 笔记-docker-2安装(centos6.5环境) 1. centos6.5安装docker 1.1. 升级内核 安装docker，官方文档要求linux kernel至少3.8以上，且docker只能运行在64位的系统中。由于CentOS6的内核版本为2.6，因此必须要先升级内核。 先看一下： 阅读全文

摘要： 笔记-docker-1 1. 简介 1.1. 什么是Docker? Docker 是世界领先的软件容器平台。开发人员利用 Docker 可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用 Docker 可以在隔离容器中并行运行和管理应用，获得更好的计算密度。企业利用 Docker 可以 阅读全文

摘要： 笔记-scrapy-辅助功能 1. scrapy爬虫管理 爬虫主体写完了，要部署运行，还有一些工程性问题； 2. 限频 CONCURRENT_ITEMS # item队列最大容量 Default: 100 Maximum number of concurrent items (per respons 阅读全文

摘要： 笔记-redis深入学习-1 redis的基本使用已经会了，但存储和读取只是数据库系统最基础的功能； 数据库系统还得为可靠实现这两者提供一系列保证； 1. 持久化 redis是内存数据库，想将数据保存到磁盘上，需要配置持久化。 redis持久化有两种模式RDB和AOF。 1.1. RDB RDB:全 阅读全文

摘要： 笔记-twisted 1. 简介 Twisted is an event-driven networking engine written in Python and licensed under the open source ​MIT license. Twisted runs on Pytho 阅读全文

摘要： 笔记-python lib-pymongo 1. 开始 pymongo是python版的连接库，最新版为3.7.2。 文档地址:https://pypi.org/project/pymongo/ 使用文档：http://api.mongodb.com/python/current/tutorial. 阅读全文

摘要： 笔记-DB-mongodb-常用操作-1 1. 启动及连接 1.1. 启动 启动mongod windows下： 1. 如已添加服务 net start <service name> 1.2. 连接 mongodb://[username:password@]host1[:port1][,host2 阅读全文