摘要:
参考https://www.cnblogs.com/CloudMan6/p/8119150.html 什么是 stack ? 在将这个之前先回顾一下前面部署WordPress的过程: 1、创建secret 2、创建mysql service 3、创建WordPress service 也就是说,这个
阅读全文
posted @ 2019-05-17 13:39
三角形
阅读(226)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/8098761.html 在下面的例子中,我们会部署一个 WordPress 应用,WordPress 是流行的开源博客系统。 我们将创建一个 Mysql Service ,将密码保存到secret 中。我们还会创建一个 W
阅读全文
posted @ 2019-05-17 13:37
三角形
阅读(430)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/8082429.html 我们可以用secret管理任何敏感数据。这些敏感数据是容器在运行时需要的。同时我们又不想把这些数据保存到镜像中。 secret可以用于管理: 1、用户名和密码 2、TLS证书 3、SSH密钥 4、其
阅读全文
posted @ 2019-05-17 13:36
三角形
阅读(222)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/8068057.html 我们经常要想容器传递敏感信息,最常见的就是密码。比如: docker run -e MYSQL_ROOT_PASSWORD=my-secret-pw -d mysql docker run -e M
阅读全文
posted @ 2019-05-17 13:35
三角形
阅读(453)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/8053323.html 容器状态是UP的,那应用就是健康的吗? 不一定 Docker 只能从容器启动进程的返回代码判断其状态,而对于容器内部应用的运行情况基本没有了解。 执行 docker run 命令时,通常会根据Doc
阅读全文
posted @ 2019-05-17 13:34
三角形
阅读(882)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/8038799.html 上一节我们讨论了 Service部署的两种模式,global mode 和 replicated mode 。无论global mode 还是replicated mode ,副本运行在哪些节点都是
阅读全文
posted @ 2019-05-15 23:01
三角形
阅读(313)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/8028712.html Swarm 可以在 Service 创建和运行过程中灵活的通过 --replicas 调整容器副本数量,内部调度器则会根据当前集群的资源使用情况在不同的node 上启停容器,这就是 Service
阅读全文
posted @ 2019-05-15 22:59
三角形
阅读(372)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/8016994.html 上一节我们成功将 nfs 的volume挂载到 Service上,本节验证 Failover时,数据会不会丢失。 Scale Up 增加副本,并验证数据是否能够同步到新启动的容器上 root@hos
阅读全文
posted @ 2019-05-15 22:58
三角形
阅读(217)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/8000906.html Service 的容器副本会 scale up/down ,会 failover,会在不同的主机上创建和销毁,这就引出一个问题,如果Service有要管理的数据,那么这些数据应该如何存放呢? 选项一
阅读全文
posted @ 2019-05-15 22:55
三角形
阅读(303)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/7988455.html 在前面的实验中,我们部署了多个副本的服务,本节将讨论如何滚动更新每一个副本。 滚动更新降低了应用更新的风险,如果某个副本更新失败,整个更新将暂停,其他副本则可以继续提供服务。 同时在更新的过程中,总
阅读全文
posted @ 2019-05-15 22:54
三角形
阅读(322)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/7967419.html 微服务架构的应用由若干 service 构成。比如有运行 httpd 的 web 前端,有提供缓存的 memcached ,有存放数据的 mysql ,每一层都是 swarm 的一个service,
阅读全文
posted @ 2019-05-15 22:52
三角形
阅读(825)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/7930321.html 上一节我们提到了 swarm 的 routing mesh 。当外部访问任意节点的8080端口时,swarm 内部的 load balance 会将请求转发给web_server 其中的一个副本。大
阅读全文
posted @ 2019-05-15 22:51
三角形
阅读(410)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/7909136.html 前面已经学习了如何部署Service吗,也验证了swarm的failover特性,下面我们要学习的是如何访问Service。 下面我们删除之前的Service,重新部署一个Service 内部访问S
阅读全文
posted @ 2019-05-15 22:49
三角形
阅读(366)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/7898245.html 故障是在所难免的,容器可能崩溃,Docker Host 可能宕机,不过幸运的是,Swarm 已经内置了 failover策略。 创建Service 的时候,我们没有告诉 swarm 发生故障时该如何
阅读全文
posted @ 2019-05-15 22:48
三角形
阅读(189)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/7885667.html 上一节部署了只有一个副本的Service,不过对于web服务,我们通常会运行多个实例,这样可以做负载均衡,同时也能提高可用性。 swarm 要实现这个目标非常简单,增加Service 的副本数就可以
阅读全文
posted @ 2019-05-15 22:47
三角形
阅读(248)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/7874609.html 上一节我们部署好了 Swarm 集群,下面部署一个运行httpd镜像的service进行演示 root@host03:~# docker service create --name web_serv
阅读全文
posted @ 2019-05-15 22:46
三角形
阅读(260)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/7862254.html 本节我们将创建三节点的swarm集群(操作系统Ubuntu 16.04 ,Docker 版本均不低于 v1.12)。 host01 10.12.31.211 swarm-worker1 host02
阅读全文
posted @ 2019-05-15 22:45
三角形
阅读(228)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/7845365.html 从主机层面来看,Docker Swarm 管理的是 Docker Host 集群。所以先来讨论一个重要的概念 - 集群化(Clustring) 服务器集群有一组网络上互相连接的服务器组成,他们一起协
阅读全文
posted @ 2019-05-15 22:43
三角形
阅读(405)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/7821817.html 上节我们已经部署好了 Graylog ,现在学习如何使用他来管理日志。 首先运行测试容器,设置logging driver为gelf,并设置接收日志的地址,还有添加tag以区分不同容器的日志 doc
阅读全文
posted @ 2019-05-15 22:39
三角形
阅读(614)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/7808708.html Graylog 是与 ELK 可以相提并论的一款几种式日志管理方案,支持数据收集、检索、可视化Dashboard。本机将实践用Graylog来管理Docker日志。 Graylog架构 Graylo
阅读全文
posted @ 2019-05-15 22:37
三角形
阅读(654)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/7798224.html 前面的ELK 中我们使用的是 Filebeat 收集Docker日志,利用的是默认的logging driver json-file。本节我们将使用 fluentd 来收集容器的日志。 Fluent
阅读全文
posted @ 2019-05-15 22:36
三角形
阅读(391)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/7787870.html 上节我们已经部署了容器化的ELK,本节我们学习如何将日志导入ELK并进行图形化展示。 几乎所有的软件和应用都有自己的日志文件,容器也不例外。前面我们已经知道Docker会将容器日志记录到 /va/l
阅读全文
posted @ 2019-05-15 22:35
三角形
阅读(608)
推荐(0)
摘要:
1 #!/bin/bash 2 3 # 检查操作系统版本,该脚本只能运行在 Centos 7.x 系统上 4 5 cat /etc/redhat-release |grep -i centos |grep '7.[[:digit:]]' >/dev/null 6 7 if [[ $? != 0 ]] 8 then 9 echo -e "不支持的操作系统,该...
阅读全文
posted @ 2019-05-13 16:20
三角形
阅读(688)
推荐(0)
摘要:
参考https://www.cnblogs.com/CloudMan6/p/7770916.html 在开源的日志管理方案中,最出名的莫过于ELK了。ELK是三个软件的合称: Elasticsearch、Logstash、Kibana。 Elasticsearch 一个近乎实时查询的全文搜索引擎。E
阅读全文
posted @ 2019-05-13 10:55
三角形
阅读(271)
推荐(0)
摘要:
Scrapy 知识总结 1、安装 1 pip install wheel 2 pip install https://download.lfd.uci.edu/pythonlibs/q5gtlas7/Twisted-19.2.0-cp37-cp37m-win_amd64.whl 3 pip inst
阅读全文
posted @ 2019-05-12 00:27
三角形
阅读(400)
推荐(0)
摘要:
练习介绍 要求: 本练习需要运用scrapy的知识,爬取豆瓣图书TOP250(https://book.douban.com/top250 )前2页的书籍(50本)的短评数据存储成Excel 书名 评论ID 短评内容 1、创建爬虫项目 1 D:\USERDATA\python>scrapy star
阅读全文
posted @ 2019-05-12 00:02
三角形
阅读(770)
推荐(0)
摘要:
职友集,搜索到全国上百家招聘网站的最新职位。 https://www.jobui.com/rank/company/ 打开网址后,你会发现:这是职友集网站的地区企业排行榜,里面含有 本月人气企业榜 前10家公司的招聘信息(公司名称、职位、工作地点和招聘要求) 最佳口碑雇主 前10家公司的招聘信息(公
阅读全文
posted @ 2019-05-11 23:58
三角形
阅读(1097)
推荐(0)
摘要:
练习介绍 要求: 请使用Scrapy,爬取当当网2018年图书销售榜单前3页的数据(图书名、作者和书的价格)。 当当网2018年图书销售榜单链接: http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-year-2018-0-1-1
阅读全文
posted @ 2019-05-11 23:54
三角形
阅读(1135)
推荐(0)
摘要:
去薄荷网 爬取每种食物的热量值 URL http://www.boohee.com/food/ 1 from gevent import monkey 2 monkey.patch_all() 3 import gevent,requests,bs4,csv 4 from gevent.queue
阅读全文
posted @ 2019-05-11 23:51
三角形
阅读(350)
推荐(0)
摘要:
练习介绍 要求: 请使用多协程和队列,爬取时光网电视剧TOP100的数据(剧名、导演、主演和简介),并用csv模块将数据存储下来。 时光网TOP100链接:http://www.mtime.com/top/tv/top100/ 目的: 1.练习掌握gevent的用法 2.练习掌握queue的用法 1
阅读全文
posted @ 2019-05-11 23:49
三角形
阅读(717)
推荐(0)
摘要:
练习介绍 在第3关的一个课后练习里,我们爬取了指定电影的下载链接;在第6关的一个课后练习里,我们存储了豆瓣TOP250的榜单信息。 现在,我们完善这个程序,每周五在存储的榜单中,随机抽三部电影,然后去爬取这三部电影的下载链接,并把链接的结果发送到邮箱。 这样一来,我们就可以选择一部电影在周末欣赏啦。
阅读全文
posted @ 2019-05-11 23:48
三角形
阅读(1197)
推荐(0)
摘要:
在之前吴氏私厨的基础上,每周五自动爬取下厨房本周最受欢迎的菜谱 1 import requests 2 import time 3 import schedule 4 import smtplib 5 from email.mime.text import MIMEText 6 from email
阅读全文
posted @ 2019-05-11 23:45
三角形
阅读(627)
推荐(0)
摘要:
自动爬取每日的天气,并定时把天气数据和穿衣提示发送到你的邮箱。 之所以选择这个相对朴实的爬虫项目,是因为天气每天都会有变化,那么在学完这一关之后,不出意外,你就可以在明早收到天气信息了。以此,亲身体验程序的作用。 你还可以把每日的天气和温馨的穿衣提示发送到你的恋人、家人、或朋友的邮箱里,这也是传递心
阅读全文
posted @ 2019-05-11 23:43
三角形
阅读(766)
推荐(0)
摘要:
要求: 爬取网页你好,蜘蛛侠!中的Python之禅中英文版本,并且打印。 目的: 练习使用selenium爬取动态网页的信息。 练习selenium与BeautifulSoup的搭配使用。 URL https://localprod.pandateacher.com/python-manuscrip
阅读全文
posted @ 2019-05-11 23:42
三角形
阅读(447)
推荐(0)
摘要:
首先,登录博客人人都是蜘蛛侠。 然后,在文章《未来已来(三)——同九义何汝秀》中,发表一个评论,这个评论中必须要带有“selenium”这个词。 URL https://wordpress-edu-3autumn.localprod.forc.work/wp-login.php spiderman
阅读全文
posted @ 2019-05-11 23:40
三角形
阅读(562)
推荐(0)
摘要:
我们这次试试用selenium爬取QQ音乐的歌曲评论,我选的歌是《甜甜的》。 https://y.qq.com/n/yqq/song/000xdZuV2LcQ19.html 1 from selenium import webdriver 2 import time 3 4 driver = web
阅读全文
posted @ 2019-05-11 23:38
三角形
阅读(701)
推荐(0)
摘要:
练习介绍 【程序功能】 我们将完成一个和语义识别相关的爬虫程序,输入任意词汇、句子、文章或段落,会返回联想的词汇。 【背景信息】 有一个非常牛的处理语言的网站nlpir,上面有非常多的处理语言的功能(如分词标注、情感分析、相关词汇)。 举个例子,我输入“音乐剧”: 然后点击“Word2vec”(返回
阅读全文
posted @ 2019-05-11 23:31
三角形
阅读(737)
推荐(0)
摘要:
练习介绍 学了爬虫这么久,想不想接触下AI,创建一个可以聊天的机器人呀٩̋(๑˃́ꇴ˂̀๑) 要求: 实现功能:利用图灵机器人官网http://www.tuling123.com/的接口,创建一个可以聊天的机器人 1 import requests 2 import json 3 # https:/
阅读全文
posted @ 2019-05-11 23:28
三角形
阅读(477)
推荐(0)
摘要:
练习介绍 想不想自己动手做个翻译器呢,一点都不难哦~ 就用你学过的post和json,一起试试爬取有道翻译自制翻译器吧ლ(^ω^ლ) 要求 实现功能:用户输入英文或中文,程序即可打印出来对应的译文。 ps:这个练习不看帮助是完不成了, 1、url去掉_o 2、post数据添加'typoResult'
阅读全文
posted @ 2019-05-11 23:24
三角形
阅读(839)
推荐(0)
摘要:
练习介绍 要求: 在本练习,我们会借助cookies的相关知识,使用Python登录饿了么网站,爬取自己家附近的餐厅列表。 网站地址:https://www.ele.me/home/ 目的: 练习掌握cookies和session的用法 练习post和get请求 练习json数据的解析提取 反爬虫应
阅读全文
posted @ 2019-05-11 23:21
三角形
阅读(722)
推荐(0)