摘要: 一、Scrapy简介 1.1 什么是Scrapy Scrapy是 Python 开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方 阅读全文
posted @ 2022-09-08 09:50 等风来~~ 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 一、Fiddler简介 简介: Fiddler是一款强大的Web调试工具,他能记录所有客户端和服务器的HTTP/HTTPS请求 工作原理: Fiddler是以代理web服务器的形式工作的,它使用代理地址:127.0.0.1,端口:8888。 为什么Fiddler能拦截到浏览器数据: 因为在浏览器配置 阅读全文
posted @ 2022-08-19 18:21 等风来~~ 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 写这篇文章是对之前搭建Jenkins做的修改和完善,让jenkins更好的为我们服务 Docker搭建Jenkins服务 使用过程中遇到的问题: 为方便部署,打算将jenkins用到的jdk11、maven3.5.4、gradle6.4工具下载下来(方便以后部署使用),然后挂载到jenkins容器内 阅读全文
posted @ 2022-08-09 15:22 等风来~~ 阅读(639) 评论(3) 推荐(1) 编辑
摘要: Python中continue、break、exit()、return、pass语句的作用和区别 return:结束函数,返回参数 pass语句:为了程序结构的完整性,不做任何事,只起到站位的作用 exit(): 退出整个程序 break语句: 跳出整个循环,不再执行 break语句用来终止循环语句 阅读全文
posted @ 2022-08-02 17:42 等风来~~ 阅读(61) 评论(0) 推荐(0) 编辑
摘要: jenkins加速下载插件(替换插件源地址) 系统管理—>插件管理—>高级—>升级站点URL:替换为 http://mirror.esuni.jp/jenkins/updates/update-center.json cd $jenkins_home/ sed -i 's#https://updat 阅读全文
posted @ 2022-08-01 09:38 等风来~~ 阅读(115) 评论(0) 推荐(0) 编辑
摘要: 一、准备工作 搭建jenkins 搭建git代码仓库 搭建harbor,做版本管理 应用服务器:安装docker服务 二、配置jenkins构建需要用到的工具及凭证 安装插件及工具 在jenkins页面安装插件:git、pipeline、gradle等 在jenkins服务器里安装需要的工具,并在j 阅读全文
posted @ 2022-05-07 16:39 等风来~~ 阅读(181) 评论(0) 推荐(0) 编辑
摘要: 因为之前写过基于K8S部署jenkins master/slave平台,在这个的基础上构建微服务到K8S集群中 Jenkins-slave构建微服务项目到K8S集群 1、微服务项目上传到git仓库 这个就不多说了 2、更改注册中心eureka的配置文件 进入到项目代码中,更改微服务中eureka-s 阅读全文
posted @ 2022-04-19 17:46 等风来~~ 阅读(577) 评论(0) 推荐(0) 编辑
摘要: 搭建平台目的: k8s中搭建jenkins master/slave架构,解决单jenkins执行效率低,资源不足等问题(jenkins master 调度任务到 slave上,并发执行任务,提升任务执行的效率) CI/CD环境特点: Slave弹性伸缩 基于镜像隔离构建环境 流水线发布,易维护 一 阅读全文
posted @ 2022-04-14 17:16 等风来~~ 阅读(798) 评论(2) 推荐(4) 编辑
摘要: K8S问题解决 1、pod容器时间和宿主机时间不同步 在yaml文件中设置环境变量(最简单方式) env: - name: TZ value: Asia/Shanghai 2、K8S中的port、targetport、nodeport、containerport(合理定义端口号,避免混淆) port 阅读全文
posted @ 2022-04-14 16:08 等风来~~ 阅读(218) 评论(0) 推荐(0) 编辑
摘要: 一、搭建Maven私服(Nexus) 1、简介 1.1.1 Maven Maven是一个项目管理工具,它包含了一个项目对象模型 (Project Object Model),一组标准集合,一个项目生命周期(Project Lifecycle),一个依赖管理系统(Dependency Manageme 阅读全文
posted @ 2022-03-25 18:00 等风来~~ 阅读(395) 评论(0) 推荐(1) 编辑
摘要: 一、简介 1、CI/CD CI/CD 是一种通过在应用开发阶段引入自动化来频繁向客户交付应用的方法。CI/CD 的核心概念是持续集成、持续交付和持续部署。作为一个面向开发和运营团队的解决方案,CI/CD 主要针对在集成新代码时所引发的问题(亦称:“集成地狱”)。 CI 持续集成(Continuous 阅读全文
posted @ 2021-11-12 18:21 等风来~~ 阅读(664) 评论(0) 推荐(1) 编辑
摘要: Jenkins部署微服务到docker容器(jenkins搭建) 在jenkins中构建项目,将项目打成的jar包放到指定目录下,使用dockerfile将jar包构建成镜像,然后docker启动镜像,微服务就部署好了 cat /server/docker/mall-admin/docker.sh 阅读全文
posted @ 2021-07-13 11:05 等风来~~ 阅读(972) 评论(0) 推荐(0) 编辑
摘要: 一、简介及准备工作 Docker镜像ipsec-vpn-server支持 IPsec/L2TP、Cisco IPsec 和 IKEv2 协议,随时随地连接公司内网,及时处理问题。 1、docker环境 2、docker服务器需要一个外网ip 二、Docker搭建IPsec_VPN(IPsec/XAu 阅读全文
posted @ 2021-07-09 10:23 等风来~~ 阅读(1057) 评论(0) 推荐(0) 编辑
摘要: 一、简介 1、Jenkins 概述: Jenkins是一个功能强大的应用程序,允许持续集成和持续交付项目,无论用的是什么平台。这是一个免费的源代码,可以处理任何类型的构建或持续集成。集成Jenkins可以用于一些测试和部署技术。Jenkins是一种软件允许持续集成。 目的: 持续、自动地构建/测试软 阅读全文
posted @ 2021-06-30 11:04 等风来~~ 阅读(774) 评论(0) 推荐(0) 编辑
摘要: Certbot 是一个免费的开源软件工具,用于在手动管理的网站上自动使用Let's Encrypt证书来启用 HTTPS。 官网地址:https://certbot.eff.org/,不同系统安装certbot 可参考官网的文档。 我没有按照官方文档来,因为系统内核版本低,执行不成功,可以升级内核版 阅读全文
posted @ 2021-06-08 10:25 等风来~~ 阅读(300) 评论(0) 推荐(0) 编辑
摘要: Nginx限流模式(防范DDOS攻击) nginx中俩个限流模块: 1、ngx_http_limit_req_module(按请求速率限流) 2、ngx_http_limit_conn_module(按连接数限流) 放到nginx配置文件中:(这是完整配置哦~) http { limit_req_z 阅读全文
posted @ 2021-04-06 16:07 等风来~~ 阅读(319) 评论(0) 推荐(0) 编辑
摘要: 一、Scrapy简介 1.1 什么是Scrapy Scrapy是 Python 开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方 阅读全文
posted @ 2022-09-08 09:50 等风来~~ 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 一、Fiddler简介 简介: Fiddler是一款强大的Web调试工具,他能记录所有客户端和服务器的HTTP/HTTPS请求 工作原理: Fiddler是以代理web服务器的形式工作的,它使用代理地址:127.0.0.1,端口:8888。 为什么Fiddler能拦截到浏览器数据: 因为在浏览器配置 阅读全文
posted @ 2022-08-19 18:21 等风来~~ 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 写这篇文章是对之前搭建Jenkins做的修改和完善,让jenkins更好的为我们服务 Docker搭建Jenkins服务 使用过程中遇到的问题: 为方便部署,打算将jenkins用到的jdk11、maven3.5.4、gradle6.4工具下载下来(方便以后部署使用),然后挂载到jenkins容器内 阅读全文
posted @ 2022-08-09 15:22 等风来~~ 阅读(639) 评论(3) 推荐(1) 编辑
摘要: Python中continue、break、exit()、return、pass语句的作用和区别 return:结束函数,返回参数 pass语句:为了程序结构的完整性,不做任何事,只起到站位的作用 exit(): 退出整个程序 break语句: 跳出整个循环,不再执行 break语句用来终止循环语句 阅读全文
posted @ 2022-08-02 17:42 等风来~~ 阅读(61) 评论(0) 推荐(0) 编辑
摘要: jenkins加速下载插件(替换插件源地址) 系统管理—>插件管理—>高级—>升级站点URL:替换为 http://mirror.esuni.jp/jenkins/updates/update-center.json cd $jenkins_home/ sed -i 's#https://updat 阅读全文
posted @ 2022-08-01 09:38 等风来~~ 阅读(115) 评论(0) 推荐(0) 编辑
摘要: tomcat指定java版本运用 情况描述:Linux服务器为了运行微服务 需要jdk版本升级为jdk11,将环境变量写到了/etc/profile; 但是还想运行一个tomcat8,需要用到jdk1.8版本 解决方案: 修改tomcat的配置文件setclasspath.sh 、catalina. 阅读全文
posted @ 2022-07-04 17:36 等风来~~ 阅读(213) 评论(0) 推荐(0) 编辑
摘要: 1、数据库锁表 1. 首先查看数据库中哪些表被锁了,找到session ID: 使用sql: select b.owner,b.object_name,a.session_id,a.locked_mode from v$locked_object a,dba_objects b where b.ob 阅读全文
posted @ 2022-06-28 09:40 等风来~~ 阅读(33) 评论(0) 推荐(0) 编辑
摘要: 数据库备份 热备份(expdp/impdp 导出/导入) 通过expdp数据泵工具把老服务器数据导出到一个*.dmp文件中,然后在新服务器上通过impdp导入命令把dmp文件中的数据泵入到数据库中。 优点:易学易用,上手快;支持增量导出、按用户或表导出部分数据 可以通过PLSQL Developer 阅读全文
posted @ 2022-06-27 11:30 等风来~~ 阅读(2350) 评论(0) 推荐(1) 编辑
摘要: 搭建测试Oracle数据库 :源码编译安装数据库太繁琐浪费时间,可以用Docker搭建Oracle数据库,搭建起来方便、快速。 一、Docker快速搭建Oracle数据库 1、拉取镜像 docker pull registry.cn-hangzhou.aliyuncs.com/helowin/ora 阅读全文
posted @ 2022-06-23 16:41 等风来~~ 阅读(548) 评论(0) 推荐(0) 编辑
摘要: 一、简介 1、为什么要用redis? 大并发的情况下,所有的请求直接访问数据库,数据库会出现连接异常。这个时候,就需要使用Redis做一个缓冲操作,让请求先访问到Redis,而不是直接访问数据库。 2、为什么要用集群? 集群,就是通过添加服务器的数量,提供相同的服务,从而使服务器达到一个稳定、高效的 阅读全文
posted @ 2022-05-07 22:45 等风来~~ 阅读(278) 评论(0) 推荐(0) 编辑