摘要：
scrapy 是很强大的模块化爬虫框架，具有很高的灵活性，使用频率很高，使用该框架能大大提高开发效率，scrapy-redis是在scrapy框架开发了组件，替换队列部分，实现多台服务器并行运行爬虫，提高爬取速度。下面是用最简单的例子从建立普通scrapy爬虫,然后数据保存mysql ，最后简单替换 阅读全文
摘要：
selentium 要和chrome版本一致，找了很久119版本chrome的selentium，终于找到并测试通过可以使用,更新的版本也有 1、下载chrome for testing ,这个很适合用来做自动化测试和爬虫，因为不会自动升级 https://googlechromelabs.gith 阅读全文
摘要：
俞敏洪写过一篇文章：《一瓶黄河水》。某年，他去黄河旅行。因为心里装了不少工作上的烦心事，望着浑浊汹涌的黄河，他一时没了游玩的心情，竟想起了洪水和灾难。原本是出来散心的，现在变成了闹心。郁闷之中，他灌了一瓶子黄河水，坐在路边发起呆来。等他醒过神来，忽然发现瓶子里3/4变得非常清澈，剩下1/4是沉淀下来 阅读全文
摘要：
背景，win7的电脑，安装有vmware ，后面因为需要php5.6版本，而且需要安装一些php扩展，还是使用phpstudy比较方便，于是安装了phpstudy, 但是在phpstudy配置最简单的站点，都连静态html都无法访问见图 nginx日志也是空的 怀疑是哪个程序占用了80端口，于是打开 阅读全文
摘要：
直接使用yum install docker-compose 会返回nothing to do, 可以使用pip3来安装 安装 Docker Compose （1）执行如下命令安装 pip3： yum -y install python3-pip pip3 install --upgrade pip 阅读全文
摘要：
有时候我们需要查看某个程序的配置和运行目录 以nginx为例 1、看出进程ID - PID [root@www ~]# ps -C nginx PID TTY TIME CMD 1113 ? 00:00:00 nginx 1116 ? 00:00:03 nginx 1124 ? 00:00:03 n 阅读全文
摘要：
引言：网站资源（CPU,内存等）使用率在某个时段很高，甚至出现502状态，查日志（看请求头user-agent）发现爬虫在某个时段大量爬取，超出网站正常的负荷，如何在不影响搜索排名情况下合理降低搜索爬虫对网站的影响呢？ 方法1：在服务端限制 适用：对不知道，或恶意爬虫限流 在nginx或防火墙上针对 阅读全文
摘要：
问题： 有时候我们也上需要加载 其他域名的资源，但是目前服务器和浏览器的安全策略默认是不允许的（其实，如果我们自己知道加载的资源是安全的就可以想办法改掉这设置）， 问题截图如下图 方案 1、浏览器端安装允许跨域的插件 2、在服务器端配置允许跨域 以nginx服务器为例只需要在配置上增加两行代码即可 阅读全文
摘要：
https://cloud.tencent.com/developer/article/1886339 如果安装的时候出现 Retrieving key from file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql The GPG keys listed for th 阅读全文
摘要：
电商等网站往往需要一个博客类的系统写一些科普或问答来给维护客户以及做SEO引流，做博客当然首选wordpress,搭建即可用，还可以让业务自己选择各种模板和管理，大大节省技术成本和时间。 如果希望让博客来做seo引流，那最好不要用二级域名，用主域名的目录来做效果最好。 需求看起来简单，但是wp代码会 阅读全文