DO447学习笔记
DO447----高级自动化:可靠的最佳实践
课程内容摘要
• 了解高效实用地使用 Ansible 实现自动化的推荐做法。
• 借助 Ansible 自动化操作执行滚动更新。
• 使用 Ansible 的高级功能来处理数据，包括过滤器和插件。
• 借助 Ansible Playbook，通过 REST API 控制应用。
• 实施红帽 Ansible Tower，以集中协调和扩展红帽 Ansible 自动化。
• 利用红帽 Ansible Tower 的功能来管理复杂的自动化工作流。
• 借助 Git 和红帽 Ansible Tower，实现 CI/CD 业务流程自动化。
******借助 Ansible Playbook，通过 REST API 控制应用******
在Firefox浏览器中，访问https://tower.lab.example.com/api/。你应该看到你的Ansible Tower服务器的可浏览API。
【 job_templates": "/api/v2/job_templates/" 】
JSON-PP必须安装：
[student@workstation ~]$ sudo yum install perl-JSON-PP
[student@workstation ~]$ curl -X GET --user admin:redhat https://tower.lab.example.com/api/v2/job_templates/?name="Demo Job Template" -k -s |json_pp
用python3：
[student@workstation ~]$ curl -X GET --user admin:redhat https://tower.lab.example.com/api/v2/job_templates/?name="Demo Job Template" -k -s |python3 -m json.tool
对于这个命令，-k(--insecure)选项指示curl操作，即使它不能验证SSL证书。使用 -s(--silent)选项，curl只显示返回的数据，而不显示进度状态或错误消息。
切换分支：
[student@workstation my_webservers_DEV]$ git branch
* master
[student@workstation my_webservers_DEV]$ git branch development
[student@workstation my_webservers_DEV]$ git branch
development
* master
[student@workstation my_webservers_DEV]$ git checkout development
Switched to branch 'development'
[student@workstation my_webservers_DEV]$ git branch
* development
master
大多数清单插件在默认情况下是禁用的。你可以在你的ansible.cfg配置文件中启用特定的插件，在inventory部分的enable_plugins指令中:
[inventory]
enable_plugins = host_list, script, auto, yaml, ini, toml
[lb_servers]
servera.lab.example.com
[web_servers]
serverb.lab.example.com
serverc.lab.example.com
[backend_server_pool]
server[b:f].lab.example.com
转换成yml文件格式
lb_servers:
hosts:
servera.lab.example.com:
web_servers:
hosts:
serverb.lab.example.com:
serverc.lab.example.com:
backend_server_pool:
hosts:
server[b:f].lab.example.com:
清单变量：
基于yaml的清单文件中直接设置清单变量，就像在基于inil的清单文件中一样。
变量及其值存储在清单的host_vars或group_vars文件中。
在一个基于ini的静态清单文件中，可以将主机localhost的ansible_connection变量设置为local，如下所示:
基于yaml的静态清单文件:
-------------------设置变量-----------------
* 在角色的defaults和vars目录中。
* 在清单文件中，可以作为主机变量或组变量。
* 在playbook或inventory的group_vars或host_vars子目录下的变量文件中。
* 在play, role, task中
--------------变量的精确优先级列表从低到高：---------
1 直接设置在清单文件或动态清单脚本中的组变量。
2 在清单的group_vars/all文件或子目录中设置所有变量组。
3 对剧本的group_vars/all文件或子目录中的所有设置的变量进行分组。
4 为清单的group_vars子目录中设置的其他组的变量分组。
5 为剧本的group_vars子目录中设置的其他组的变量分组。
6 主机变量直接设置在清单文件或由一个动态清单脚本。
7 主机变量设置在清单的host_vars子目录中。
8 在playbook的host_vars子目录中设置主机变量。
9 宿主事实和缓存事实。
-----------------------剧本变量的优先级列表从低到高：-------
1 剧本的vars部分设定的。
2 通过在剧本中使用vars_prompt部分提示用户来设置。
3 通过剧本的vars_files部分从外部文件列表中设置。
4 通过角色的rolename/vars/子目录中的文件设置。
5 为当前块设置一个vars部分。
6 设置当前任务的vars部分。
7 用include_vars模块动态加载。
8 通过使用set_fact模块或使用register来记录任务在主机上执行的结果来为特定的主机设置。
9 在剧本中的角色部分或使用include_role模块加载时为剧本中的角色设置的参数。
10 由include_tasks模块中包含的任务的vars部分设置。
* include_vars加载的变量具有较高的优先级，可以覆盖为角色和特定块和任务设置的变量。在许多情况下，如果不希望用外部变量文件覆盖这些值，则可能希望使用vars_files代替。
* set_fact模块和register指令都设置了特定于主机的信息，要么是一个事实，要么是任务在该主机上执行的结果。
* Extra变量使用ansible-playbook命令的-e选项设置的额外变量总是具有最高的优先级
##### ansibl变量的优先级 #####
1. extra vars变量（在命令行中使用 -e）；优先级最高
2. 在inventory中定义的连接变量（比如ansible_ssh_user）；优先级第二
3. 大多数的其他变量（命令行转换，play中的变量，include的变量，role的变量等）；优先级第三
4. 在inventory定义的其他变量；优先级第四
5. 有系统发现的facts；优先级第五
6. "role默认变量"，这个是最默认的值，很容易丧失优先权。优先级最小。
##### inventory清单列表里定义变量：单个主机定义的变量优先级高于主机组定义的变量 #####
ansible使用inventory定义变量的优先级顺序从高到低为：
1. host_vars下定义变量
2. inventory中单个主机定义变量
3. group_vars下定义变量
4. inventory中组定义变量
--------------------官网中的定义：----------（从低到高）
1. command line values (for example, -u my_user, these are not variables)
2. role defaults (defined in role/defaults/main.yml)
3. inventory file or script group vars
4. inventory group_vars/all
5. playbook group_vars/all
6. inventory group_vars/*
7. playbook group_vars/*
8. inventory file or script host vars
9. inventory host_vars/*
10. playbook host_vars/*
11. host facts / cached set_facts
12. play vars
13. play vars_prompt
14. play vars_files
15. role vars (defined in role/vars/main.yml)
16. block vars (only for tasks in block)
17. task vars (only for the task)
18. include_vars
19. set_facts / registered vars
20. role (and include_role) params
21. include params
22. extra vars (for example, -e "user=my_user")(always win precedence)
---> 更好的方法是将变量定义从清单文件移动到单独的变量文件中，每个主机组一个变量文件。每个变量文件以主机组命名，包含主机组的变量定义：
---> 一种更好的方法是在group_vars目录下为每个主机组创建子目录。Ansible解析这些子目录中的任何YAML，并根据父目录将变量与主机组关联：
2.2.4 特殊清单变量
ansible_connection: 用于访问托管主机的连接插件。缺省情况下，除了使用local的localhost，所有主机都使用ssh。
ansible_host: 连接到托管主机时要使用的实际IP地址或完全限定域名，而不是使用清单文件中的名称(inventory_hostname)。默认情况下，这个变量的值与清单主机名相同。
ansible_port: Ansible用于连接被管理主机。对于(默认的)SSH连接插件，值默认为22。
ansible_user: Ansible以这个用户连接到被管理的主机。Ansible的默认行为是使用与在控制节点上运行Ansible Playbook的用户相同的用户名连接到托管主机。
ansible_become_user: Ansible连接到托管主机，它将使用ansible_become_method(默认为sudo)切换到该用户。您可能需要以某种方式提供身份验证凭据。
ansible_python_interpreter: Ansible应该在托管主机上使用的Python可执行文件的路径。在Ansible2.8及以后版本，默认为auto，
2.2.5 使用变量识别当前主机
inventory_hostname: 当前正在处理的托管主机的名称，从清单中获取。
ansible_host: 用于连接受管理主机的实际IP地址或主机名。
ansible_facts['hostname'] : 作为事实从托管主机收集的短主机名。
ansible_facts['fqdn'] : 作为事实从托管主机收集的完全合格域名(FQDN)。
-----------------------管理任务执行---------------------------
提权升级指令：:
become、become_user、become_method、become_flags。
配置特权升级：：
如果将Ansible配置文件的[privilege_escalation]部分中的become布尔值设置为yes(或true)，那么剧本中的所有剧本将默认使用privileqe_escalation。当运行在被管理的主机上时，这些play将使用当前的become_method方法切换到当前的become_user。
| CONFIGURATION DIRECTIVE | COMMAND-LINE OPTION |
| become | --become or -b |
| become_method | --become-method=BECOME_METHOD |
| become_user | --become-user=BECOME_USER |
| become_password | --ask-become-pass or -k |
剧本的特权升级:
第一个play中使用：become：true
连接变量的特权升级：
连接变量来配置特权升级。这些连接变量可以作为组或单个主机上的清单变量应用。
| configuration or playbook directive | CONNECTION VARIABLE |
| become | ansible_become |
| become_method | ansible_become_method |
| become_user | ansible_become_user |
| become_password | ansible_become_pass |
--------------特权升级方法----------
. 让你的剧本保持简单(Ansible最佳实践的关键原则)是首要的考虑。
. 其次要考虑的是，在可能的情况下以最小权限运行任务(以避免由于playbook错误而导致托管主机的意外损害)。
-------------控制任务执行-----------
--- - name: Ensure Apache is deployed hosts: localhost gather_facts: no tasks: - name: Open the firewall *******Ansible 会在打开防火墙之前执行角色的任务，
即使任务部分是先定义 firewalld: service: http permanent: yes state: enabled roles: - role: apache
pre_tasks ：是在roles部分之前运行的tasks部分
post_tasks： 是在一个tasks部分之后运行的
------------------------执行顺序----------------------
Ansible按以下顺序运行play部分：
1 pre_tasks
2 pre_tasks部分中通知的处理程序
3 角色
4 任务
5 角色和任务部分中通知的处理程序
6 post_tasks
7 post_tasks 部分中通知的处理程序
--- - name: Testing host order hosts: localhost order: sorted ********order指令接受以下值**** tasks: - name: Createing a test file in /tmp copy: content: "This is a sample file" dest: /tmp/test.out
order指令接受的值：
1、inventory ：清单order 这是默认值
2、reverse_inventory: 清单order的倒序
3、 sorted： 主机按字母顺序倒序排列
4、 revers_sorted: 主机按字母顺序
5、shuffle: 每次运行play时都是随机顺序
-----------标签ANSIBLE资源------------------
当使用ansible-playbook运行一个playbook时，
---->使用 --tags选项来过滤这个playbook，并只执行特定的带标签的play或任务。
---->使用 --skip-tags选项跳过带有特定标记的任务。
--- - name: Example play using tagging hosts: - servera.lab.example.com - serverb.lab.example.com tasks: - name: httpd is installed yum: name: httpd state: latest tags: webserver <----tags标签 - name: postfix is installed yum: name: postfix state: latest
[student@workstation yuan]$ ansible-playbook t1.yml --tags webserver <----运行标签处
[student@workstation yuan]$ ansible-playbook t1.yml --list-tags <----列出剧本中所有的标签
特殊标签：
(1) Ansible有一个特殊的方法，可以在剧本中分配：always.。标记了always的资源将始终运行，即使它与传递给 --tags的标签列表不匹配。唯一的例外是使用 --skip-tags always选项显式跳过它。
(2) never特殊标记标记的任务不会运行，除非您将 --tags选项设置为never或与该任务关联的另一个tag运行playbook。
三个额外的特殊tag：
(1) tagged的标记将使用显式标记运行任何资源。
(2) 未标记的tag将运行任何没有显式tag的资源，并排除所有标记的资源。
(3) all tag将包含play中的所有任务，无论他们是否有tag。这是Ansible的默认行为。
------------------变量类型----------------
字符串(字符序列)
数字(数值)
布尔值(真/假)
日期(ISO-8601日历日期)
Null(设置变量为未定义的变量)
列表或数组(值的排序集合)
字典(键值对的集合)
YAML格式允许定义多行字符串，使用pipe操作符（|）来保留换行符，
使用大于操作符（>）来抑制换行符。
string_with_breaks: |
This string
has several
line breaks
string_without_breaks: >
This string will not
contain any line breaks.
Separated lines are joined
by a space character.
字典：也称为映射或散列，是一种将字符串键与值链接起来以便直接访问的结构
my_dict: { Douglas: Human, Marvin: Robot, Arthur: Human }
my_dict:
Douglas: Human
Marvin: Robot
Arthur: Human
通过键来访问字典中的项，在字典名后面立即提供键，并用方括号括起来:
assert:
that:
- my_dict['Marvin'] == 'Robot'
-------------用过滤器处理数据-------------
下面的表达式对变量myname的值进行过滤，通过使用标准的Jinja2过滤器确保值的第一个字母大写:
{{ myname | capitalize }}
- name: Test to see if the assertion assert: that: - "{{ [1,4,2,2] | unique | sort }} is eq([1,2,4])"
Jinja2中正式可用的过滤器：
http://jinja.pocoo.org/docs/2.10/templates/#builtinfilters上记录的Jinja2过滤器提供了大量有用的实用函数。（https://jinja.palletsprojects.com/en/2.10.x/templates/#builtinfilters）（http://docs.jinkan.org/docs/jinja2/templates.html#id2）
mandatory：
如果变量没有定义值，则会失败并中止Ansible剧本。
{{ my_value | mandatory }}
default
如果变量没有定义值，那么这个过滤器将把它设置为括号中指定的值。如果括号中的第二个参数是True，那么如果变量的初始值是空字符串或布尔值False，过滤器也会将该变量设置为默认值。
{{ my_value | default(my_default, True) }}
提起列表元素：
- name: All three of these assertions are true assert: that: - "{{ [ 2, 4, 6, 8, 10, 12 ] | length }} is eq( 6 )" ---length 列表长度 - "{{ [ 2, 4, 6, 8, 10, 12 ] | first }} is eq( 2 )" ---first 列表第一个 - "{{ [ 2, 4, 6, 8, 10, 12 ] | last }} is eq( 12 )" ---last 列表的最后一个
random（随机）过滤器从列表中返回一个随机元素:
{{ ['Douglas', 'Marvin', 'Arthur'] | random }}
- name: reversion and sorting lists assert: that: - "{{[2,4,6,8,10] | reverse |list }}is eq([10,8,6,4,2])" ---把列表颠倒过来 - "{{[4,8,10,6,2] | sort|list}} is eq([2,4,6,8,10])" ---把列表顺序排列
合并列表：flatten过滤器递归地接受输入列表值中的任何内部列表
- name: Flatten turns nested lists on the left to list on the right assert: that: - "{{ [2,[4,[6,8]],10] | flatten }} is eq([2,4,6,8,10])" ---flatten合并列表
将列表作为集合进行操作：unique 唯一过滤器，
- name: unique leaves unique elements assert: that: --unique保证唯一，---list列表转成集合 - "{{ [1,1,2,2,2,3,4,4]|unique|list }}is eq([1,2,3,4])"
如果两个列表没有重复的元素，那么你可以对它们使用集合理论操作。
union联合过滤器返回一个集合，其中包含来自两个输入集合的元素。
intersect过滤器返回一个集合，该集合具有两个集合共有的元素。
difference过滤器返回一个集合，其中包含第一个集合中不存在于第二个集合中的元素。
- name: difference assert: that: -----difference 第一个集合中有的，第二个集合中没有的 - "{{[2,4,6,8,10] | difference([2,4,6,16])}} is eq([8,10])"
操纵字典：
字典是没有任何顺序的。它们只是键值对的集合。但是您可以使用过滤器来构造字典，并且您可以将它们转换为列表，或者将列表转换为字典。
- name: combine vars: expected: a: 234 b: 456 c: 890 assert: that: ----combine 字典联合起来 - "{{ {'a':234,'b':456} | combine({'b':456,'c':109 }) }} is eq(expected)"
重塑字典：
使用dict2items过滤器可以将一个字典重新塑造成一个条目列表，使用items2dict过滤器也可以将一个条目列表重新塑造成一个字典
- name: converting vars: c1: do1: Human do2: Robot do3: Human c2: - key: d1 value: Human - key: d3 value: Human ---dict2items 把列表转换成字典 assert: ---items2dict 把字典转换成列表 that: - "{{ c1 | dict2items }} is eq(c2)" - "{{ c2 | items2dict }} is eq(c1)"
对字符串进行哈希、编码和操作：hash哈希过滤器使用提供的哈希算法返回输入字符串的哈希值:
- name: SHA-1 hash vars: e1: '9ka0ka0akdfj912klkjasd334cal' assert: that: - "'{{ 'Arthur' | hash('sha1')}}' is eq(e1)"
使用password_hash过滤器来生成密码散列：
{{ 'secret_password'| password_hash('sha512')}}
编码的字符串
二进制数据可以通过b64encode过滤器转换成base64，再通过b64decode过滤器转换回二进制格式。
- name: Base64 assert: that: - "'{{ 'asdfkl'| b64encode }}'is eq('w8LDkkjj==')" - "'{{ 'w8kjsjd==' | b64encode }}'is eq('asdfkl')"
格式化文本
使用lower、upper或capitalize过滤器来强制输入字符串的大小写:
- name: cc assert: that: - "'{{ 'Marvin' | lower }}'is eq('marvin')" --全部转换为小写 - "'{{ 'Marvin' | upper }}'is eq('MARVIN')" --全部转换为大写 - "'{{ 'marvin' | capitalize }}'is eq('Marvin')" --首字母转换为大写
替换文本
当你需要替换输入字符串中出现的所有子字符串时，replace过滤器很有用:
- name: Replace assert: that: ---replace 替换 - "'{{ 'marvin, arthur' | replace('ar','**')}}'is eq('m**vin,**thur')"
更复杂的搜索和替换可以通过使用正则表达式和regex_search和regex_replace过滤器来实现。
解析和编码数据结构
数据结构通过to_json和to_yaml过滤器序列化为JSON或YAML格式。使用to_nice_json和to_nice_yaml过滤器来获得格式化的人类可读输出。
- name: Convert JSON and YAML format vars: hosts: - name: bastion ip: - 172.25.250.254 - 172.25.252.1 hosts_json: '[{"name":"bastion","ip":["172.25.250.254","172.25.252.1"]}]' assert: that: - "'{{ hosts | to_json}}'is eq(hosts_json)"
4.3 实现高级循环
使用循环迭代任务可以帮助简化您的Ansible Playbooks。loop关键字在项目的平面列表上循环。当与查找插件一起使用时，可以在循环列表中构造更复杂的数据。
loop关键字代替with_*样式循环有以下好处:
不需要记忆或找到一个with * style关键字来适应您的迭代场景。相反，使用插件和过滤器来使循环关键字任务适应您的用例。
重点学习Ansible中可用的插件和过滤器，它们的适用性比迭代更广泛。
可以通过ansible-doc -t lookup命令对查找插件文档进行命令行访问。这将帮助发现查找插件并使用它们设计自定义迭代场景。
浙公网安备 33010602011771号