摘要：示例场景 日志说明 有两台Web服务器，日志文件存放在/usr/local/nginx/logs/目录，日志默认为nginx定义格式。如： 以空格分隔，共有12列数据： 场景部署 在两台Web服务器上部署HDFS客户端，以便定期上传Web日志到HDFS存储平台，最终实现分布式计算。 上传日志到HDF
阅读全文
随笔分类 - 运维
摘要：Mrjob简介 Mrjob是一个编写MapReduce任务的开源Python框架，它实际上对Hadoop Streaming的命令行进行了封装，因此接粗不到Hadoop的数据流命令行，使我们可以更轻松、快速的编写MapReduce任务。 Mrjob具有如下特点： Mrjob编写MapReduce 安
阅读全文
摘要：简介 随着云时代的到来，大数据（big data）也越来越受大家的关注，比如互联网行业日常生成的运营、用户行为数据，随着时间及访问量的增长这一规模日益庞大，单位可达日TB或PB级别。如何在如此庞大的数据中挖掘出对我们有用的信息？目前业界主流存储与分析平台是Hadoop为主的开源生态圈，MapRedu
阅读全文
摘要：简介 Func提供了非常丰富的功能模块，包括CommandModule（执行命令）、CopyFileModule（拷贝文件）、CPUModule（CPU信息）、DiskModule（磁盘信息）、FileTrackerModule（文件跟踪）、IPtablesModule（iptables管理）、Mo
阅读全文
摘要：简介 Func是由红帽子公司以Fedora平台构建的统一网络控制器，是为解决集群管理、监控问题而设计开发的系统管理框架。它是一个能有效简化多服务多服务器系统管理工作的工具，它易于学习、使用和扩展，功能强大，只需要极少的配置和维护工作。Func分为master和slave两部分，master为主控端，
阅读全文
摘要：state功能 state是Saltstack最核心的功能，通过预先定制好的sls（salt state file）文件对被控制主机进行状态管理，支持包括程序包（pkg）、文件（file）、网络配置（network）、系统服务（service）、系统用户（user）等。 state的定义 state
阅读全文
摘要：pillar组件 pillar也是Saltstack最重要的组件之一，其作用是定义与被控主机相关的任何数据，定义好的数据可以被其他组件使用，如模板、state、API等。 在pillar中定义的数据与不同业务特性的被控主机相关联，这样不同被控主机只能看到自己匹配的数据，因此pillar安全性很高，适
阅读全文
摘要：grains说明 grains是Saltstack最重要的组件之一，grains的作用是手机被控主机的基本信息，这些信息通常都是一些静态类的数据，包括CPU、内核、操作系统、虚拟化等，在服务器端可以根据这些信息进行灵活定制，管理员可以利用这些信息对不同业务进行个性化定制。 例：（janja模板） g
阅读全文
摘要：说明 API原理是通过调用master client模块，实例化一个LocalClient对象，再调用cmd()方法来实现的。以下API实现test.ping的示例：(其他API调用只需要改变cmd即可) 常用模块 Archive模块 功能：实现系统层面的压缩包调用，支持gzip、gunzip、ra
阅读全文
摘要：命令 命令格式： 例： 常用参数 针对<操作目标>，Saltstack提供了多种方法对被控主机（id）进行过滤。下面列举出常用具体参数：-E，--pcre，通过正则表达式进行匹配: -L，--list，以主机id名列表的形式进行过滤，格式与Python的列表相似，即不同主机id名称使用逗号分离。 -
阅读全文
摘要：安装 安装EPEL作为安装Ansible的yum源(CentOS6.4) 安装Saltstack： 主控端： 被控端： 防火墙：主控端添加TCP 4505、4506端口规则，被控端无需配置，原理是被控端直接与主控端的zeromq建立长链接，接收广播到的任务信息并执行 配置 主控端：(配置完成后重启：
阅读全文
摘要：查看内核版本 这个命令适用于所有的linux，包括Redhat、SuSE、Debian、Centos等发行版。 查看系统版本号 以下二种方法适用于RedHat,CentOS 1、直接查看 2、登录到linux执行rpm -q redhat-release #rpm -q redhat-release
阅读全文
摘要：简介 playbook是一个非常简单的配置管理和多主机部署系统。可作为一个适合部署复杂应用程序的基础。playbook可以定制配置，可以按指定的操作步骤有序执行，支持同步和异步方式。playbook是通过YAML格式来进行描述定义的，可实现多台主机应用的部署，对不同分组的主机执行特定指令步骤。 pl
阅读全文
摘要：Ansible安装 安装EPEL作为安装Ansible的yum源(CentOS6.4): 安装Ansible： 配置文件： 路径：/etc/ansible/hosts配置说明：webservers为组名，下面的ip或域名则是属于该组的主机。 测试： 由于主控端与被控主机未配置SSH证书信任，需要在执
阅读全文
摘要：Fabric是基于Python实现的SSH命令行工具，简化了SSH的应用程序部署及系统管理任务，它提供了系统基础的操作组件，可以实现本地或远程shell命令，包括：命令执行、文件上传、下载及完整执行日志输出等功能。Fabric在Paramiko的基础上做了更高一层的封装，操作起来会更加简单。 命令说
阅读全文
摘要：同步时间 查看http的并发请求数及其TCP连接状态 用tcpdump嗅探80端口的访问看看谁最高 统计/var/log/下文件个数 查看当前系统每IP连接数 shell下32位随机密码生成 统计出apache的access.log中访问量最多的5个IP visudo精确用户赋权（sudo) sud
阅读全文
摘要：Linux挂载Winodws共享文件夹 其中-t表示要挂载的类型，cifs是微软提供远程访问的一个协议。然后是登录用户和密码，和windows共享地址，和挂载地址。然后就可以查看了。 linux挂载NFS文件 错误： nfs挂载错误的问题，错误提示如下： 解决：
阅读全文
摘要：原文链接：http://www.centoscn.com/CentOS/2014/0403/2724.html 可通过ps 来查看，通过参数 -o 来查看 例： 参数说明： pid：进程ID tty：终端 user：用户 comm：进程名 lstart：开始时间 etime：运行时间 运行结果如下：
阅读全文
摘要：linux下通过进程名查看其占用端口： 1、先查看进程pid ps -ef | grep 进程名 2、通过pid查看占用端口 netstat -nap | grep 进程pid 例：通过nginx进程查看对应的端口号 linux通过端口查看进程： netstat -nap | grep 端口号 -p
阅读全文
摘要：一般情况下，linux运行脚本是随着终端的关闭而关闭的，那么怎么让脚本能够在后台运行并且不随终端关闭而关闭呢？ 这时用到的是nohup命令
阅读全文
浙公网安备 33010602011771号