摘要:前言 由于某些很坑的原因,需要将一台mysql里的全部数据进行迁移,并且需要迁移用户及权限。下面记录下用户及权限是如何迁移的。 原理 首先,我没找到现成的工具。。。因此只好自己搞了,好在也没多复杂。 用户迁移 mysql里的用户都存在于mysql.user这张表里。可以通过SQL查询这张表拿到hos 阅读全文
posted @ 2020-07-04 20:35 Mr..D 阅读(752) 评论(0) 推荐(0) 编辑
摘要:前言 某日,准备良久后,开始入K8S的坑。以下经历,惨不忍睹。 K8S 安装 K8S官方安装方式比较繁琐,有大神出了一键部署包。https://github.com/fanux/sealos。 安装最新版的K8S免费且简单。想安装其他版本的话,就收费了。离线安装包50一位。 想着自己只是测试,然后客 阅读全文
posted @ 2020-06-25 21:39 Mr..D 阅读(255) 评论(0) 推荐(0) 编辑
摘要:简介 99%的网络爬虫技术都要与HTTP协议打交道,而在打交道的过程中,你会发现很多好玩的事情。本文主要介绍那些常用的HTTP状态码是如何被反爬虫技术使用的。 常用状态码与反爬虫 2xx 2xx系列状态码一般代表响应成功。 200 OK 最常见的状态码,代表一切正常。 202 Accepted 这个 阅读全文
posted @ 2020-05-31 23:03 Mr..D 阅读(244) 评论(0) 推荐(0) 编辑
摘要:imgcat简介 Mac下终端软件 iterm2 有个工具:imgcat。 可以在iterm2终端下展示图片。 地址是: https://www.iterm2.com/utilities/imgcat 安装方式就不赘述了。 核心代码 通过简化代码得到 嗯 很简单的操作,仅在iterm2下生效。 至于 阅读全文
posted @ 2020-04-06 18:19 Mr..D 阅读(504) 评论(0) 推荐(0) 编辑
摘要:啥是S3 Amazon S3,全名Amazon Simple Storage Service。 S3的初衷很简单," malloc internet "。 简单来说就是Amazon提供的网络数据存储服务。 详细了解可参见官方文档: "https://aws.amazon.com/cn/s3/" 域名 阅读全文
posted @ 2020-04-06 17:08 Mr..D 阅读(313) 评论(0) 推荐(0) 编辑
摘要:前言 一个合格的开发者,应该要熟练地使用Google、Baidu等搜索引擎(不然怎么复制别人的代码)。而搜索引擎为了方便用户的使用,基本都提供了高级搜索功能。而今天介绍的 "Github" ,作为全球最大的同性交友网站,存储的代码量可能是全世界最多的。为了方便大家寻找自己需要的代码,同样提供了很多方 阅读全文
posted @ 2020-02-22 23:11 Mr..D 阅读(352) 评论(0) 推荐(0) 编辑
摘要:基础 启用隐身模式 非隐身模式启用插件 正文 如果是非隐身模式启用插件的话,上面的代码就可以了。但很蛋疼的是,有个场景必须得在隐身模式下运行,还需要插件。如果是人为操作的话,启用步骤如下: 1. 打开插件管理页面 chrome://extensions/ 2. 找到需要启动的插件,点击详细信息,进入 阅读全文
posted @ 2020-01-21 21:20 Mr..D 阅读(788) 评论(0) 推荐(0) 编辑
摘要:背景 经常做爬虫的人,应该对\x00、\x01这样的字符不陌生,网页源码里面 不经常 出现。不过一般都不深究这到底是啥。一开始我也没研究,发现之后就拿正则替换掉,简单粗暴的处理。之所以要去掉,是因为使用Python的lxml库处理的时候会抛异常。再后来,由于需要做一个通用一些的采集器,没办法再无视这 阅读全文
posted @ 2020-01-03 21:25 Mr..D 阅读(367) 评论(1) 推荐(1) 编辑
摘要:记录一下在使用pyppeteer过程中慢慢发现的一些稍微高级一点的用法。 一、拦截器简单用法 拦截器作用于单个Page,即浏览器中的一个标签页。每初始化一个Page都要添加一下拦截器。拦截器实际上是 通过给各种事件添加回调函数来实现的。 事件列表可参见:pyppeteer.page.Page.Eve 阅读全文
posted @ 2019-11-17 00:10 Mr..D 阅读(6902) 评论(3) 推荐(1) 编辑
摘要:我只是想看一下大家都是啥时候发博客而已!! 第一步: 把 https://www.cnblogs.com/ 的文章列表先拿下来,只有200页,时间范围是一个月多几天,不知道是不是全部的,就这样吧 代码很简单:https://github.com/dytttf/little_spider/blob/m 阅读全文
posted @ 2019-11-11 23:04 Mr..D 阅读(266) 评论(0) 推荐(0) 编辑