摘要： XPath是一门在XML文档中查找信息的语言，被用于在XML文档中通过元素和属性进行导航。XPath虽然是被设计用来搜寻XML文档，不过它也能很好地在HTML文档中工作，并且大部分浏览器也支持通过XPath来查询节点。在Python爬虫开发中，经常使用XPath查找提取网页中的信息，因此XPath非 阅读全文

摘要： Selenium一款自动化测试工具，当然用来写爬虫也是没有问题的。它支持Chrome、Safari、Firefox等主流界面式浏览器，另外它也支持多种语言开发，比如 Java，C，Ruby，Python等。PhantomJS是一个无界面的，可脚本编程的WebKit浏览器引擎，当我们爬一些网站，页面全 阅读全文

摘要： Scrapy这个成熟的爬虫框架，用起来之后发现并没有想象中的那么难。即便是在一些小型的项目上，用scrapy甚至比用requests、urllib、urllib2更方便，简单，效率也更高。废话不多说，下面详细介绍下如何用scrapy将妹子图爬下来，存储在你的硬盘之中。关于Python、Scrapy的 阅读全文

摘要： 学习python网络爬虫有一段时间了，正好赶上休假闲来无事，记录一下爬取的过程。 一、开发工具Pycharm 2017Python 2.7.10requestspymongo 二、爬取目标1、爬取与python相关的职位信息2、由于拉勾网只展示30页的搜索结果，每页15条职位信息，全部爬下来，最终将 阅读全文

摘要： Compose是Docker官方的开源项目，可以实现对Docker容器集群的快速编排。Compose 中有两个重要的概念：服务（service）：一个应用的容器，实际上可以包括若干运行相同镜像的容器实例。项目(project)：由一组关联的应用容器组成的一个完整业务单元，在 docker-compo 阅读全文

摘要： 一、什么是playbooksplaybooks是ansible的脚本、如同shell脚本一样，它是控制远程主机的一系列命令的集合，通过YAML语言编写。执行一些简单的任务，我们可以使用ad-hoc命令就可以解决，对于一些较复杂的任务，ad-hoc就不能胜任了，这时候playbooks就派上用场了，在 阅读全文

摘要： etcd是用于共享配置和服务发现的分布式KV存储系统，随着CoreOS和Kubernetes等项目在开源社区日益火热，它们都用到了etcd组件作为一个高可用、强一致性的服务发现存储仓库。操作系统版本：CentOS 7.2集群机器：192.168.116.151、192.168.116.152、192 阅读全文

摘要： Dockerfile是一个文本格式的配置文件，用户可以使用Dockerfile快速创建自定义的镜像。它类似shell脚本，由一行行命令组成，支持以#开头的注释行。一般而言，Dockerfile分为四部分：基础镜像信息、维护者信息、镜像操作指令和容启动执行指令。 1、常用指令 序号 指令 描述 1 F 阅读全文

摘要： 一、基础配置 1、端口映射 从外部访问容器应用 docker run -d -P nginx #映射随机端口 docker run -d -p 80:80 nginx #映射指定端口 docker run -d -p 80:80 -p 5000:5000 nginx #映射多个指定端口 docker 阅读全文

摘要： Docker 管理数据的方式有两种：数据卷数据卷容器 1、数据卷 数据卷是一个或多个容器专门指定绕过 Union File System 的目录，为持续性或共享数据提供一些有用的功能：数据卷可以在容器间共享和重用数据卷数据改变是直接修改的数据卷数据改变不会被包括在容器中数据卷是持续性的，直到没有容器 阅读全文