摘要: 业务需求 现需对某国外图片网站进行大量爬取,为提高效率使用多进程,对多个子目录下的图片同时爬取。由于网站对单IP的下载量有限额,需要在额度耗尽时自动从代理池里更换新代理。IP的可用额度无法在本地计算或实时获取,只有在耗尽时才能从目标网站得到异常通知。 业务分析 虽然是单机并发,但所面对的问题其实属于 阅读全文
posted @ 2020-01-05 17:09 qjfoidnh 阅读(1076) 评论(0) 推荐(0)
摘要: 树莓派通常是通过ssh连接在字符界面使用,或者vnc连接来使用的。偶尔我们会遇到桌面进程卡死的状况,具体表现为图标和任务栏按钮无反应,但CPU等负载一切正常。这种情况,除了重启机器之外,还可以通过重启图形界面进程的方式进行修复。 首先,用ssh连接进入字符终端 pi@DEX54-PC:~ $ ps 阅读全文
posted @ 2020-01-05 12:53 qjfoidnh 阅读(6675) 评论(0) 推荐(0)
摘要: 问题描述 最近要在deepin上跑一个定时脚本,功能是每天到点从redis里取文字并利用百度API转为语音,然后播放。脚本用Python编写,大体思路是获得语音文件后,用Python的pexpect模块模拟终端调用mplayer播放。之前在树莓派上运行的都很正常,在deepin终端里直接运行也没问题 阅读全文
posted @ 2019-12-26 23:59 qjfoidnh 阅读(665) 评论(1) 推荐(1)
摘要: 宿主机的系统为CentOS7_7.7.1908,默认为GUI启动,安装了宝塔面板,docker-ce为最新版。 在启动了一个centos7的容器(镜像为centos官方镜像)后,将该容器重启策略设置为always,并在上面也安装了宝塔面板;当宿主机重启后,在弹出用户登录窗的前一刻(注:此时已出现鼠标 阅读全文
posted @ 2019-11-11 01:43 qjfoidnh 阅读(1487) 评论(2) 推荐(0)
摘要: 恢复内容开始 CentOS8已经推出了,正好最近新到了块服务器硬盘需要安装系统,就拿过来尝一下鲜。 下载好iso文件后,以制作CentOS7安装盘相同的步骤,用UltroISO(软碟通)往U盘里写好了磁盘映像,开机,发现报了如下错误: 显然只能是引导U盘出现了错误。网上的说法多集中在是grub引导错 阅读全文
posted @ 2019-11-04 15:39 qjfoidnh 阅读(5373) 评论(0) 推荐(0)
摘要: 在给一块用了不到一年的树莓派3B+重装官方系统时发现了一件诡异的事情,树莓派的有线网络会在重启后自动停掉,只有无线模块正常。即右上角的网络图标显示一个红叉叉。 在多次重装未果后,发现一个命令可以让有线网卡恢复 其实就是将网卡eth0重启 后来将树莓派拔掉HDMI输出线,以ssh方式连接访问后,再重启 阅读全文
posted @ 2019-10-21 01:04 qjfoidnh 阅读(782) 评论(0) 推荐(0)
摘要: 近日遇到一个需求,某机器上在四个端口上开了四个http代理,因为每个代理都有流量限额,所以要平均着使用,但由使用者手动更改端口号又太麻烦,所以需要将这4个端口融合为1个,想到的办法就是用Nginx做负载均衡。 Nginx负载均衡的文章教程有很多了,但多数使用背景都是网站服务器分流,方法基本是对ngi 阅读全文
posted @ 2019-10-08 01:47 qjfoidnh 阅读(6858) 评论(0) 推荐(0)
摘要: 某日一位老师反映,机房的6号节点无法登录了。一开始以为是为节点防火墙配置IP白名单时忘记了加进去,但随后发现此节点并未进行白名单配置,密码也一直未有变更,于是在自己的电脑上连接,发现终端里很快显示出了Last login信息,说明这时应该已经成功与节点进行了连接,但随后就报出Connection c 阅读全文
posted @ 2019-10-02 00:19 qjfoidnh 阅读(7863) 评论(1) 推荐(1)
摘要: 前言 E站爬虫在网上已经有很多了,但多数都只能以图片为单位下载,且偶尔会遇到图片加载失败的情况;熟悉E站的朋友们应该知道,E站许多资源都是有提供BT种子的,而且通常打包的是比默认看图模式更高清的文件;但如果只下载种子,又会遇到某些资源未放种/种子已死的情况。本文将编写一个能自动检测最优下载来源并储存 阅读全文
posted @ 2019-09-23 23:16 qjfoidnh 阅读(8555) 评论(1) 推荐(0)
摘要: 前两天在工作中遇到一个需求,某192.168.1.0/24内网网段内只有一台主机A连接到了公网,A的两块网卡分别有一个公网地址(123.234.345.456)和一个内网地址(192.168.1.10),现需要内网的另一台主机B(192.168.1.77)连接到互联网下载某些东西,同时将B的某服务端 阅读全文
posted @ 2019-09-23 19:14 qjfoidnh 阅读(2756) 评论(0) 推荐(1)