随笔分类 -  Python

RabbitMQ 安装使用教程
摘要：环境 CentOS7 + Python3.5 yum -y install epel-release erlang socat cd /usr/local/src wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.15/rabbit 阅读全文
posted @ 2018-05-19 10:32 Funsion Wu 阅读(382) 评论(0) 推荐(0)
Scrapyd 项目爬虫部署
摘要：scrapyd是一个用于部署和运行scrapy爬虫的程序，它允许你通过JSON API来部署爬虫项目和控制爬虫运行 scrapyd是一个守护进程，监听爬虫的运行和请求，然后启动进程来执行它们 安装扩展 pip install scrapyd pip install scrapyd-client 首先 阅读全文
posted @ 2017-05-30 10:18 Funsion Wu 阅读(2646) 评论(0) 推荐(0)
Scrapy 分布式数据采集方案
摘要：运行环境 CentOS7.3 + Python2.7 + Scrapy1.4 + MongoDB3.4 + BeautifulSoup4.6 编程工具 PyCharm + Robomongo + Xshell 请确保你的 python版本为2.7.5以上 版本 强烈推荐直接【FQ 安 装】，简单轻 阅读全文
posted @ 2017-05-14 22:51 Funsion Wu 阅读(1526) 评论(0) 推荐(0)
python命令行参数处理模块 optparse 使用参考
摘要：from optparse import OptionParser parser = OptionParser()parser.add_option( '-f', '--file', dest='filename', help='write report to FILE', metavar='F... 阅读全文
posted @ 2014-10-10 22:48 Funsion Wu 阅读(968) 评论(0) 推荐(0)
Python标准库 urllib2 的使用
摘要：1、Proxy 的设置urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy，而不受环境变量的影响，可以使用下面的方式import urllib2enable_proxy = Trueproxy_handler = urllib2.... 阅读全文
posted @ 2014-10-10 22:46 Funsion Wu 阅读(611) 评论(0) 推荐(0)
Python默认模块 os和shutil 实用函数
摘要：os.sep 可以取代操作系统特定的路径分隔符。windows下为 '\\'os.name 字符串指示你正在使用的平台。比如对于Windows，它是'nt'，而对于Linux/Unix用户，它是 'posix'os.getcwd() 函数得到当前工作目录，即当前Python脚本工作... 阅读全文
posted @ 2014-10-10 22:32 Funsion Wu 阅读(21168) 评论(0) 推荐(4)