2017年7月22日

Nginx 配置文件 nginx.conf 参数含义（转载）

摘要： #定义Nginx运行的用户和用户组 user www www; #nginx进程数，建议设置为等于CPU总核心数。 worker_processes 8; #全局错误日志定义类型，[ debug | info | notice | warn | error | crit ] error_log /v 阅读全文

posted @ 2017-07-22 11:13 飞哥100 阅读(710) 评论(0) 推荐(0)

scrapy使用要点

摘要： 使用技巧： 1、编写爬虫时，如果起始链接不是固定的，而且包含很多个，建议使用start_requests方法，代替：start_urls列表。参考1 参考22、pipelines.py中， open_spider在爬虫开启的时候仅执行一次；close_spider在爬虫关闭的时候仅执行一次；这俩个方 阅读全文

posted @ 2017-07-22 11:09 飞哥100 阅读(253) 评论(0) 推荐(0)

导航