随梦远航，不惧风浪

摘要： 我们通常会在linux中用crontab 配置定时任务，但最近遇到一个奇怪的问题就是，手动执行脚本可以正常执行，但通过crontab配置执行后就一直失败。看后台执行日志确实也执行了但脚本就是没执行成功。接下来就通过下边的操作一步一步的定位问题 1.把脚本执行的日志打印出来 python3 getBa 阅读全文

摘要： 现在的滑动验证码防盗等级都比较高，之前的是一张完整的图片带缺口，现在返回的图片是打乱顺序拼接而成的，所以现在破解不仅要识别滑块的缺口，同时还需要复原完整的图片 一.伪造请求获取验证码图片 可以看到请求中主要的两个参数ctxid和request，所以我们只需要找到这两个参数的生成逻辑并进行请求就可以获 阅读全文

摘要： 公司有自动识别身份证的需求，于是就采用了腾讯云的OCR自动识别功能，由于对接过程中踩坑较多，于是就将对接的过程及示例整理出来，方便有这方面需求的同志 腾讯云OCR识别官方文档：https://cloud.tencent.com/document/product/1007/35920 对接主要分为以下 阅读全文

摘要： 人工部署 现在企业的部署方式主要分为，人工手动部署、蓝绿部署和专业的持续发布和持续集成。其中人工部署最为原始，该部署主要是由人工主导，在系统使用不高的时候进行停机部署。工作的第一家公司用的是这种方式进行系统的部署。这种部署没什么优点，就是有点费人，每当项目上线的时候，开发人员、测试人员都得熬到12点 阅读全文

摘要： 最近在做一个多线程的爬虫程序，由于队列中有重复的数据，尽管程序中有判断不存在则插入，但由于多个线程并发，导致数据库中存在部分重复的数据。 程序中的bug已经修复，但重新爬一遍耗时耗力，于是就选择删除重复的数据，只保留一条有效数据 解决的思路就是根据确定其数据唯一的聚合字段进行分组，然后只保留一条有效 阅读全文

摘要： Jenkins是一款由java开发的持续集成的工具，能帮我们自动打包和部署 一.安装 1.下载docker镜像 docker pull jenkins/jenkins 2.在宿主机上创建jenkins_home文件，用来挂载容器中对应的目录。 mkdir /mnt/jenkins_home 创建完对 阅读全文

摘要： Swap分区也称为交换分区，操作系统可以在这里存一些内存中放不下的东西，跟windows系统中的虚拟内存类似。设置Swap分区可以缓解内存不足的问题 1.创建指定大小的文件用于分区 fallocate -l 1G /swap #分配1G 2.设置文件权限确保只有root能用 chmod 600 /s 阅读全文

摘要： 一.关闭docke服务 systemctl stop docker 二.修改容器对应的配置 docker容器地址：/var/lib/docker/containers/{容器Id} vim /var/lib/docker/containers/34907801cd14d61/config.v2.js 阅读全文

摘要： 对于python多线程爬虫，使用multiprocessing能有效的帮我们实现多线程的任务,如以下代码所示，这段代码看似没有什么毛病，但真正执行起来时，有时程序能正常的退出，但大多数情况下是不能正常的退出，程序一直处于阻塞的状态 def Producer(in_q,url,type): respo 阅读全文

摘要： Ik分词器能有效的帮助我们对词语进行各种方式的拆分，还可以根据自定义设置完成对词语的拆分，是搜索引擎不可或缺的一部分。接下来就详细的介绍一下Ik分词器的配置过程 1.在github上查看Ik分词器的版本 https://github.com/medcl/elasticsearch-analysis- 阅读全文