01 2018 档案

Scrapy 爬虫日志中出现Forbidden by robots.txt
摘要:爬取汽车之家数据的时候,日志中一直没有任何报错,开始一直不知道什么原因导致的,后来细细阅读了下日志发现日志提示“Forbidden by robots.txt”,Scrapy 设置文件中如果把ROBOTSTXT_OBEY设置为True的时候,会遵循robots.txt 规则进行爬虫; 这个时候我们只 阅读全文

posted @ 2018-01-31 16:19 梦雨情殇 阅读(947) 评论(0) 推荐(0)

Scrapy 设置请求头
摘要:爬虫的过程有些网站设置反盗链,需要我们在请求头中添加下,修改settings.py文件中添加 具体的信息可以根据自己需求修改,注意这个设置是全局请求都要走这个配置; 阅读全文

posted @ 2018-01-31 16:08 梦雨情殇 阅读(1217) 评论(0) 推荐(0)

Jenkins 安装启动提示“iJob for jenkins.service failed because the control process exited with error code. See "systemctl status jenkins.service" and "journalctl -xe" for details.”
摘要:通过RPM安装Jenkins简单方便,不太需要复杂的过程,但是在安装完成以后启动Jenkins的时候提示“Starting jenkins (via systemctl): Job for jenkins.service failed because the control process exit 阅读全文

posted @ 2018-01-28 19:03 梦雨情殇 阅读(3558) 评论(0) 推荐(0)

Python MySQLdb 插入数据
摘要:其实python链接MySQL的方法很多,比较常用的是MySQLdb这个模块,由于自己准备往数据库里面插入一条日期数据,在格式化的日期数据的时候一直报错,所以这里简单写了一个往MySQL数据库的插入数据的demo。 其实最初操作的时候一个简单的数据插入的动作还遇到了几个常见的问题,所以在这里总结下 阅读全文

posted @ 2018-01-24 15:20 梦雨情殇 阅读(2331) 评论(0) 推荐(0)

Python Scrapy环境搭建(一)
摘要:本来是以学习的目的添加了几个QQ群,但是发现群内有着很多的小白都在咨询如何搭建环境的问题,所以我这里把自己搭建的方法分享下 1.首先我们需要查看下自己安装的python的版本; 最简单的版本就是在命令行内执行python,第一行信息就告诉你python的版本是多少,多少位的; 2.由于安装scrap 阅读全文

posted @ 2018-01-22 11:43 梦雨情殇 阅读(258) 评论(0) 推荐(0)

Linux下安装CollabNetSubversionEdge
摘要:1.首先下载CollabNet Subversion,目前最新版本Subversion Edge 5.2.2 (Linux 64-bit),注意下载的时候需要注册下账号,才允许下载; 2.安装CollabNet Subversion时首先需要安装依赖JDK和python,目前服务器基本都有pytho 阅读全文

posted @ 2018-01-12 13:52 梦雨情殇 阅读(1670) 评论(0) 推荐(0)

CentOS7.x 配置开机启动项目
摘要:Centos6.x 下版本主要通过service控制启动与关闭,通过chkconfig来设置开机启动项,但是Centos 7.x 版本采用已经Systemd来控制启动与关闭,Systemd 是 Linux 系统中最新的初始化系统(init),它主要的设计目标是克服 sysvinit 固有的缺点,提高 阅读全文

posted @ 2018-01-10 11:54 梦雨情殇 阅读(212) 评论(0) 推荐(0)

MySQL 5.7 修改root密码
摘要:更新 MySQL 5.7 以后通过以下方法无法在修改root密码; 查看下MySQL的官方文档发现版本更新后原来user里的password字段已经变更为authentication_string,所以使用上述语句更新会提示“password 字段不存在; 新的更新方法; 参考文档: https:/ 阅读全文

posted @ 2018-01-09 21:28 梦雨情殇 阅读(525) 评论(0) 推荐(0)

导航