1874

摘要： sonarqube和扫描器sonar-scanner是可以不在同一主机的；结合sonarqube和扫描器sonar-scanner的工作逻辑，扫描器只需要配置连接sonarqube的相关地址以及对应项目的相关属性，然后扫描器就可以正常工作了；我们可以理解为一个sonarqube平台对应多台server上的sonar-scanner；只要sonar-scanner能够正常的连接到sonarqube，就能把本地server上的项目代码扫描结果写到sonarqube指定的数据库中，通过sonarqube的web平台给予展示； 阅读全文

摘要： sonarqube是一款用java语言编写的程序，它主要作用是提供一个web界面，展示扫描分析结果以及系统管理，插件管理等；扫描代码还是sonar-scanner这个插件做的，它的工作原理是sonar-scanner通过识别项目中的sonar-project.properties配置文件中定义的内容，把对应的项目源码进行扫描，把扫描后的结果保存到指定的数据库；然后sonarqube通过连接配置的数据库，把sonar-scanner存入数据库中的数据加载到web界面，从而用户就可以通过web界面查看扫描的项目源码的结果； 阅读全文

摘要： pipline 是帮助 Jenkins 实现 CI 到 CD 转变的重要角色，是运行在 jenkins 2.X 版本的核心插件，简单来说 Pipline 就是一套运行于 Jenkins 上的工作流框架，将原本独立运行于单个或者多个节点的任务连接起来，实现单个任务难以完成的复杂发布流程，从而实现单个任务很难实现的复杂流程编排和任务可视化，Pipeline 的实现方式是一套 Groovy DSL，任何发布流程都可以表述为一段 Groovy 脚本。 阅读全文

摘要： 在上一篇博客中，我们主要介绍了DevOps理念以及java环境和jenkins的安装，回顾请参考https://www.cnblogs.com/qiuhom-1874/p/13805666.html；今天我们主要来看看jenkins常用插件的安装、配置使用； 我们知道在安装jenkins的过程中，激活jenkins后，首先是让我们安装一些插件，我们选择的是推荐插件；推荐插件一般都是很常用的基础插件，也是我们使用jenkins的必须品，但这样安装好的jenkins在很多功能上都达不到我们使用的需求，于是我们需要额外安装其他插件来丰富jenkins的功能； 阅读全文

摘要： devops理念主要是针对企业中的研发人员、运维人员和测试人员的工作理念，是他们在应用开发、代码部署和质量测试等整条生命周期中协作和沟通的最佳实践DevOps 强调整个组织的合作以及交付和基础设施变更的自动化、从而实现持续集成、持续部署和持续交付。传统的模式的开发人员只顾开发程序，运维只负责基础环境管理和代码部署及监控等，其并不是为了一个共同的目标而共同实现最终的目的，而DevOps 则实现团队作战，即无论是开发、运维还是测试，都为了最终的代码发布、持续部署和业务稳定而付出各自的努力，从而实现产品设计、开发、测试和部署的良性循环，实现产品的最终持续交付。 阅读全文

摘要： GitLab 是一个用于仓库管理系统的开源项目，使用git作为代码管理工具，并在此基础上搭建起来的web服务。类似github，常用在企业内部做git私有仓库使用； 阅读全文

摘要： 我们知道对于git的仓库来讲，不外乎就是一个文件服务器，也就说git仓库可以使用传输文件的协议来把用户本地仓库中的代码推送到远程仓库进行保存，同时用户也可以从远处仓库拖代码到本地仓库；这是git仓库的最基本功能；常用的传输文件的协议有http、https、ftp、ssh等等，当然也有git本身的协议git来传输文件；好了下面我们来看一下基于httpd来搭建git的私有仓库对过程吧； 阅读全文

摘要： git版本控制系统主要由本地工作空间，本地仓库和远程仓库三部分组成；本地工作空间中包含本地仓库，本地仓库中主要有索引和对象库；用户在本地空间初始化一个项目，就相当于在本地创建了一个本地git仓库，其表现形式上在用户的工作目录下有一个.git的隐藏目录；用户要把本地的文件提交到远程仓库，首先得将文件添加到本地仓库中的索引中去，然后再把索引中的内容提交到本地对象库中存储；然后再从本地push一份到远程仓库；用户提交项目到远程仓库的过程就是这样；当然用户从远程仓库可以直接克隆远程仓库到本地； 阅读全文

摘要： 之前的博客一直在聊ELK集群中的存储、日志收集相关的组件的配置，但通常我们给用户使用不应该是一个黑黑的shell界面，通过接口去查询搜索；今天我们来聊ELK中的前端可视化组件kibana；kibana主要作用是用来展示、搜索、查看、分析、整合elasticsearch中存储的日志的一个web用户界面；使得让用户使用ELK更加直观； 阅读全文

摘要： 前面我们了解了elk集群中的logstash的用法，使用logstash处理日志挺好的，但是有一个缺陷，就是太慢了；当然logstash慢的原因是它依赖jruby虚拟机，jruby虚拟机就是用java语言开发的ruby虚拟机，本身java程序运行在jvm上就已经很慢了，而logstash还要运行在用java语言开发的ruby虚拟机上，就相当于虚拟机上跑一个虚拟机，可想而知；如果我们只需要收集和处理日志，在agent端如果运行logstash，显得格外的消耗资源；为了解决这种问题，elastic开发了一款更加轻量级的日志收集器beats；而filebeat只是其中的一种，它是基于收集本地日志文件中的内容，然后输出到某个地方；中间不会对日志做过多的处理；有点类似rsyslog，只做日志转发； 阅读全文

摘要： 前文我们了解了logstash的工作流程以及基本的收集日志相关配置，回顾请参考https://www.cnblogs.com/qiuhom-1874/p/13761906.html；今天我们来了解下logstash的常用input插件和filter插件的相关配置； 先说filter插件吧，继续上一篇博客的环境，我们配置logstash收集httpd的访问日志； 示例：配置logstash收集日志的时间戳为日志生成时的时间戳 阅读全文

摘要： logstash的工作原理类似Linux里的rsyslog，首先logstash会有一个数据输入源，也就是logstash去哪里采集数据，它的采集数据来源很多，比如从文件中采集，从某个tcp/udp端口采集，从redis的消息队列中采集，kafka啊、标准输入等等；它和rsyslog不同的是，rsyslog是把日志数据从一个地方转到另一个地方，中间不会去处理日志的格式，采集回来是什么样就是什么样；而logstash不一样，logstash它可以把采集回来的日志做格式化，以不同的编码形式向外输出；比如把nginx的日志采集回来，它可以以json格式输出；同时它还可以处理采集回来的日志，比如忽略某些字段的输出，把原有日志格式做切分；把原来不是json格式的日志，通过输出规则转换为json格式的日志； 阅读全文

摘要： 什么是ELK？ELK是Elasticsearch、Logstash、Kibana这三个软件的首字母缩写；其中elasticsearch是用来做数据的存储和搜索的搜索引擎；logstash是数据收集处理平台，它能够对特定的数据做分析、切词、收集、过滤等等处理，通常用于对日志的处理；kibana是用于把处理后的数据做可视化展示，提供一个web界面，方便我们去elasticsearch中检索想要的数据；elasticsearch是一个高度可扩展的开源全文搜索和分析引擎，它可实现数据的实时全文搜索，支持分布式实现高可用，提供RESTfull风格的API接口，可以处理大规模日志数据； 阅读全文

摘要： 客户端访问hdfs上的某一文件，首先要向namenode请求文件的元数据信息，然后nn就会告诉客户端，访问的文件在datanode上的位置，然后客户端再依次向datanode请求对应的数据，最后拼接成一个完整的文件；这里需要注意一个概念，datanode存放文件数据是按照文件大小和块大小来切分存放的，什么意思呢？比如一个文件100M大小，假设dn（datanode）上的块大小为10M一块，那么它存放在dn上是把100M切分为10M一块，共10块，然后把这10块数据分别存放在不同的dn上；同时这些块分别存放在不同的dn上，还会分别在不同的dn上存在副本，这样一来使得一个文件的数据块被多个dn分散冗余的存放； 阅读全文

摘要： 对于fastdfs来讲，后端的storage是以组为单位进行调度的，一个group中有多个storageserver组成，每个storageserver间互相同步文件，使得在同一组中storageserver上的文件相同，从而实现了文件的冗余；和mogilefs不同的是fastdfs的冗余是基于storage节点来做的，而mogilefs是基于device来做的；下载文件的过程和上传过程类似，首先client会想把下载请求发送给tracker，然后由tracker返回storage的ip：port，然后客户端再向storage server发送文件下载请求，storage收到客户端发送到文件下载请求后，在本地节点查找对应的文件，然后发送给客户端； 阅读全文

摘要： 我们知道mogilefs的tracker和客户端通信使用的http协议，客户端和storage通信也是使用http协议；客户端向tracker发送请求获取文件的内容，tracker收到请求后，去数据库中查，把查到的结果返回给客户端，然后客户端再通过tracker返回的结果去请求对应的存储节点，通过这样一个过程客户端就拿到对应文件的内容；从上面描述的过程来看，要想使用mogilefs得有一款智能的客户端，它必须满足能够理解到tracker返回的内容，然后再向存储节点请求对应的文件；其次这个客户端还能通过http协议同tracker和storage交互，也就说我们需要一款能够理解tracker返回的内容的http协议的反代服务器； 阅读全文

摘要： tracker的主要作用是代理前端用户的请求到数据库查询相关文件的元信息，同时它还要监控注册到tracker的storagenode的健康状态，一旦后端storage挂掉，它会立刻把对应的storage节点上的device从集群信息中删除（对应数据还在，只是在集群的状态信息看不到对应设备），上线时再加入到集群信息；客户端通过向tracker发送请求文件的信息，tracker通过去数据库中找到对应的文件所在storage节点的ip地址、端口、设备id以及文件fid，然后通过http链接的形式从tracker返回给客户端，客户端拿到这tracker的返回的文件地址，然后在去对应的storage请求文件，从而在客户端就访问到对应的文件内容信息； 阅读全文

摘要： 对于高可用nginx或haproxy这类在用户空间有监听端口和进程的服务来说，如果用keepalived做高可用，我们需要考虑到我们高可用的服务是否正常可用，从而实现在服务不正常的情况下，把对应的VIP能够迁移到其他节点；为了实现能够检测到高可用的服务是否正常，keepalived提供了调用外部脚本的接口，让我们配置对高可用的服务做可用性检测；根据我们定义的脚本，keepalived会周期性的去执行我们的定义的脚本，根据脚本执行退出码判断服务是否可用，一旦发生服务不可用，或者可用性检测不通过，它就会触发当前keepalived节点的优先级降低，从而实现当前节点在通告优先级时，触发备份节点接管VIP，从而实现VIP转移，服务的高可用； 阅读全文

摘要： 我们知道一个服务通常是以一个套接字形式对外提供服务，所谓套接字就是ip+端口；前面的博客中我们主要聊到了keepalived对ip地址的高可用，但通常对ip地址高可用没有多大实质的作用，重要的是我们高可用的ip地址后端对应的服务才是根本，这一篇博客主要讲怎么利用keepalived高可用LVS集群，生成ipvs规则，以及对LVS集群的rs做健康状态检测； 阅读全文

摘要： 一个高可用服务，应该具备当服务发生故障，能够第一时间做故障转移，从而保证服务的可用性，同时还应该第一时间通知管理员，以便管理员能够知道服务发生了转移，这样一来管理员也能第一时间去排查故障，让故障的节点在很短的时间重新上线，避免下次故障导致服务不可用；keepalived的故障通知邮件机制，是通过判断当前节点keepalived的角色来触发邮件通知； 阅读全文