会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
Spider-spiders
织梦空间
2017年8月25日
基于Scrapy-Redis和docker技术在单机上构建分布式爬虫
摘要: 基于Scrapy-Redis和docker技术在单机上构建分布式爬虫,因为自己机器比较少,但是又想构建一个分布式环境,于是借助docker技术在单机上构建多个container进行抓取任务的爬虫环境。
阅读全文
posted @ 2017-08-25 17:38 都是一家人
阅读(427)
评论(0)
推荐(0)
vim 使用和配置
摘要: vim 启动的时候,默认加载用户目录下.vimrc的配置文件,如果不存在,则会加载系统配置文件/etc/vim/vimrc ~/.vimrc文件配置 eg:
阅读全文
posted @ 2017-08-25 10:47 都是一家人
阅读(181)
评论(0)
推荐(0)
shell中环境变量
摘要: Linux中环境变量包括系统级和用户级,系统级的环境变量是每个登录到系统的用户都要读取的系统变量,而用户级的环境变量则是该用户使用系统时加载的环境变量。 所以管理环境变量的文件也分为系统级和用户级的,下面贴一个网上找到的讲的比较明白的文件介绍(略作修改)[1]: 系统级: /etc/profile:
阅读全文
posted @ 2017-08-25 10:47 都是一家人
阅读(213)
评论(0)
推荐(0)
公告
导航
博客园
首页
新随笔
新文章
联系
订阅
管理