摘要：
前言 ES的官方文档中关于增量快照的说明是： 你的第一个快照会是一个数据的完整拷贝，但是所有后续的快照会保留的是已存快照和新数据之间的差异。 看到这个解释后，脑海中产生出些许疑问： 删除历史快照会对新的快照造成影响吗？ 如果每次保存的都是差异，那我的快照数据量是不是会越来越大？ 恢复完整数据的时候要 阅读全文
摘要：
前言 目标：ClickHouse单机集群版安装 本文面向ClickHouse初学者 服务器环境 Ubuntu18.04 集群安装步骤如下： 安装java 安装Zookeeper（依赖Java） 安装单机ClickHouse 修改ClickHouse配置为集群版 安装步骤 一、安装Java 在线安装 阅读全文
摘要：
前言 由于某些很坑的原因，需要将一台mysql里的全部数据进行迁移，并且需要迁移用户及权限。下面记录下用户及权限是如何迁移的。 原理 首先，我没找到现成的工具。。。因此只好自己搞了，好在也没多复杂。 用户迁移 mysql里的用户都存在于mysql.user这张表里。可以通过SQL查询这张表拿到hos 阅读全文
摘要：
前言 某日，准备良久后，开始入K8S的坑。以下经历，惨不忍睹。 K8S 安装 K8S官方安装方式比较繁琐，有大神出了一键部署包。https://github.com/fanux/sealos。 安装最新版的K8S免费且简单。想安装其他版本的话，就收费了。离线安装包50一位。 想着自己只是测试，然后客 阅读全文
摘要：
简介 99%的网络爬虫技术都要与HTTP协议打交道，而在打交道的过程中，你会发现很多好玩的事情。本文主要介绍那些常用的HTTP状态码是如何被反爬虫技术使用的。 常用状态码与反爬虫 2xx 2xx系列状态码一般代表响应成功。 200 OK 最常见的状态码，代表一切正常。 202 Accepted 这个 阅读全文
摘要：
imgcat简介 Mac下终端软件 iterm2 有个工具：imgcat。 可以在iterm2终端下展示图片。 地址是: https://www.iterm2.com/utilities/imgcat 安装方式就不赘述了。 核心代码 通过简化代码得到 嗯 很简单的操作，仅在iterm2下生效。 至于 阅读全文
摘要：
啥是S3 Amazon S3,全名Amazon Simple Storage Service。 S3的初衷很简单，" malloc internet "。 简单来说就是Amazon提供的网络数据存储服务。 详细了解可参见官方文档： "https://aws.amazon.com/cn/s3/" 域名 阅读全文
摘要：
前言 一个合格的开发者，应该要熟练地使用Google、Baidu等搜索引擎（不然怎么复制别人的代码）。而搜索引擎为了方便用户的使用，基本都提供了高级搜索功能。而今天介绍的 "Github" ,作为全球最大的同性交友网站，存储的代码量可能是全世界最多的。为了方便大家寻找自己需要的代码，同样提供了很多方 阅读全文
摘要：
基础 启用隐身模式 非隐身模式启用插件 正文 如果是非隐身模式启用插件的话，上面的代码就可以了。但很蛋疼的是，有个场景必须得在隐身模式下运行，还需要插件。如果是人为操作的话，启用步骤如下： 1. 打开插件管理页面 chrome://extensions/ 2. 找到需要启动的插件，点击详细信息，进入 阅读全文
摘要：
背景 经常做爬虫的人，应该对\x00、\x01这样的字符不陌生，网页源码里面 不经常 出现。不过一般都不深究这到底是啥。一开始我也没研究，发现之后就拿正则替换掉，简单粗暴的处理。之所以要去掉，是因为使用Python的lxml库处理的时候会抛异常。再后来，由于需要做一个通用一些的采集器，没办法再无视这 阅读全文