摘要：
elasticsearch 笔记来源：【尚硅谷】ElasticSearch入门到精通2021最新教程（基于ELK技术栈elasticsearch 7.8.x版本）_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili 1. 简介 1.1 Elasticsearch是什么 The Elastic Sta 阅读全文
posted @ 2021-09-13 15:52
胖头鹅
阅读(124)
评论(0)
推荐(0)
摘要：
Scrapyd && Logparser Scrapyd快速入门 简介： Github地址 官方文档 Scrapyd是用来运行scrapy爬虫的一个服务 特点：允许部署scrapy项目并且通过HTTP JSON的方式来控制爬虫 对scrapy的理解： scrapyd其实是一个服务器端的服务，真正部署 阅读全文
posted @ 2021-09-13 14:42
胖头鹅
阅读(105)
评论(0)
推荐(0)
摘要：
Scrapy scrapy架构图 图源网络，侵删 Scrapy主要组件： 引擎(Scrapy) 用来处理整个系统的数据流, 触发事务，是框架的核心 调度器(Scheduler) 用来接受引擎发过来的请求, 加入队列中, 并在引擎再次请求的时候返回. 即一个URL的优先队列, 由它来决定下一个要抓取的 阅读全文
posted @ 2021-09-13 14:39
胖头鹅
阅读(88)
评论(0)
推荐(0)
摘要：
一个操作elasticsearch的工具类，可实现增删改查以及较复杂的查询 pom文件引入依赖 <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> </dependency> <depen 阅读全文
posted @ 2021-09-13 14:15
胖头鹅
阅读(551)
评论(0)
推荐(0)
摘要：
开放单个端口 --permanent永久生效，没有此参数重启后失效。 firewall-cmd --zone=public --add-port=8080/tcp --permanent 重载规则 firewall-cmd --reload 开放多个端口 开放多个端口 firewall-cmd -- 阅读全文
posted @ 2021-09-13 12:33
胖头鹅
阅读(83)
评论(0)
推荐(0)
摘要：
bug详情 在一次docker部署过程中，使用防火墙开放了新端口，然后docker创建的容器启动失败并报错 bug定位 ... bug说明 ... bug修复 关闭所有dockers容器，然后重启docker服务 systemctl restart docker 阅读全文
posted @ 2021-09-13 12:23
胖头鹅
阅读(626)
评论(0)
推荐(0)
摘要：
背景 docker容器在运行过程中会产生日志，日志的量跟具体的容器有关。 比如最近在工作中用到了selenium和scrapyd等容器，运行过程中产生的日志特别多，刚开始部署服务没在意日志的设定，一段时间后直接导致服务器磁盘存储占用达到100%，程序崩溃。 因此有必要对容器日志做出限制或定期清理等方 阅读全文
posted @ 2021-09-13 12:15
胖头鹅
阅读(1391)
评论(0)
推荐(1)
摘要：
bug详情 docker安装的selenium_firefox,运行时报错 selenium selenium.common.exceptions.WebDriverException: Message: unknown error: session deleted because of page 阅读全文
posted @ 2021-09-13 11:59
胖头鹅
阅读(736)
评论(0)
推荐(0)
摘要：
随系统启动 设置docker开机启动 systemctl enable docker.service 设置容器自动启动 对于新容器，创建时添加参数 --restart=always 对于已创建容器，需要使用update命令 docker update --restart=always <容器名> 注 阅读全文
posted @ 2021-09-13 11:24
胖头鹅
阅读(7745)
评论(0)
推荐(1)
摘要：
redis docker run -itd -p 26379:6379 --name redisbloom -e TZ="Asia/Shanghai" redislabs/rebloom:latest --appendonly yes --requirepass "123456" --loadmod 阅读全文
posted @ 2021-09-13 11:02
胖头鹅
阅读(95)
评论(0)
推荐(0)
摘要：
准备 本示例是基于centos镜像构建的，所以需要准备一个jdk安装包，这里我用的是jdk-8u201-linux-x64.tar.gz springboot打包后的jar包 springboot应用的配置文件，application.yml。这个文件是方便后面挂载出来用的。 编写Dockerfil 阅读全文
posted @ 2021-09-13 10:44
胖头鹅
阅读(337)
评论(0)
推荐(0)
摘要：
Docker 文档地址：https://docs.docker.com/ 仓库地址：https://hub.docker.com/ 笔记参考https://www.bilibili.com/video/BV1og4y1q7M4 Docker安装 Docker基本组成 镜像（image）： 相当于一个 阅读全文
posted @ 2021-09-13 10:12
胖头鹅
阅读(135)
评论(0)
推荐(0)
浙公网安备 33010602011771号