摘要：
scrapy多个page的爬取 scrapy post请求 scrapy通过爬到的URL继续发请求爬页面 阅读全文
posted @ 2019-03-04 19:39
NachoLau
阅读(2689)
评论(0)
推荐(0)
摘要：
输入命令 安装 基础使用 1.创建项目：scrapy startproject 项目名称 项目结构： 2.创建爬虫应用程序： 3.编写爬虫文件:在步骤2执行完毕后，会在项目的spiders中生成一个应用名的py爬虫文件 4.设置修改settings.py配置文件相关配置: 5.执行爬虫程序：scra 阅读全文
posted @ 2019-03-02 22:24
NachoLau
阅读(169)
评论(0)
推荐(0)
摘要：
用Nginx+uwsgi原因 首先nginx 是对外的服务接口，外部浏览器通过url访问nginx, 2nginx 接收到浏览器发送过来的http请求，将包进行解析，分析url，如果是静态文件请求就直接访问用户给nginx配置的静态文件目录，直接返回用户请求的静态文件， 如果不是静态文件，而是一个动 阅读全文
posted @ 2019-03-01 17:04
NachoLau
阅读(234)
评论(0)
推荐(0)
摘要：
安装环境准备 安装,启动nginx 安装完成后检测服务 部署一个web站点 nginx默认站点是Nginx目录下的html文件夹，这里可以从nginx.conf中查到 如果要部署网站业务数据，只需要把开发好的程序全放到html目录下即可，只需要通过域名/资源，即可访问 Nginx的目录结构 conf 阅读全文
posted @ 2019-03-01 16:21
NachoLau
阅读(245)
评论(0)
推荐(0)
摘要：
在使用 Python 开发的过程中，工程一多，难免会碰到不同的工程依赖不同版本的库的问题，或者是在开发过程中不想让物理环境里充斥各种各样的库，引发未来的依赖灾难，所以要使用虚拟环境 确保开发环境的一致性 virtualenvwrapper virtualenv 的一个最大的缺点就是：每次开启虚拟环境 阅读全文
posted @ 2019-03-01 15:30
NachoLau
阅读(270)
评论(0)
推荐(0)
摘要：
全部代码 下载python源码包 安装python前的库环境 configure 这一步一般用来生成 Makefile，为下一步的编译做准备，可以通过在 configure 后加上参数来对安装进行控制，比如代码: 将该软件安装在 /usr 下面，执行文件就会安装在 /usr/bin （而不是默认的 阅读全文
posted @ 2019-03-01 15:13
NachoLau
阅读(263)
评论(0)
推荐(0)
摘要：
python操作redis 重要 线程池操作redis Linux安装redis 启动redis 打开注释，不然py客户端连不上 守护模式不开就no 指定配置文件进行启动 然后准备设置redis验证密码（不然py连接报错） 退出，重新登录redis Redis常用命令 redis数据结构 发布/订阅 阅读全文
posted @ 2019-03-01 14:21
NachoLau
阅读(367)
评论(0)
推荐(0)
摘要：
chromedriver下载 谷歌浏览器驱动下载地址：http://chromedriver.storage.googleapis.com/index.html http://npm.taobao.org/mirrors/chromedriver/ 下载的驱动程序必须和浏览器的版本统一，可以根据ht 阅读全文
posted @ 2019-02-28 23:14
NachoLau
阅读(240)
评论(0)
推荐(0)
摘要：
计划任务crond服务 检测crontab是否开机启动 crontab配置文件 yum源配置 配置阿里云yum源 Linux下安装程序的方法 网络配置 创建普通用户 切换用户 userdel删除用户 sudo命令 sudo命令用来以其他身份来执行命令，预设的身份为root 权限 软连接 PS1变量 阅读全文
posted @ 2019-02-27 23:30
NachoLau
阅读(293)
评论(0)
推荐(0)
摘要：
vim 移动光标 查找 复制，删除，粘贴 底线命令模式 移动光标 阅读全文
posted @ 2019-02-27 15:33
NachoLau
阅读(189)
评论(0)
推荐(0)
浙公网安备 33010602011771号