11 2015 档案

Python ORM Storm 源码修改
摘要：安装 storm ： pip install storm目标：修改 Storm 源代码以支持自动重连文件：python安装目录/site-packages/storm/database.py在411行添加函数(可以不在这一行，只要是给class Connection添加函数就行)：def _chec... 阅读全文
posted @ 2015-11-27 12:21 高山流的不是水 阅读(668) 评论(0) 推荐(0)
mrjob 使用 mongoldb 数据源【转】
摘要：最近做的事情是用mrjob写mapreduce程序，从mongo读取数据。我的做法很容易也很好懂，因为mrjob可以支持sys.stdin的读取，所以我考虑用一个python程序读mongo中的数据，然后同时让mrjob脚本接受输入，处理，输出。具体方式：readInMongoDB.py:#codi... 阅读全文
posted @ 2015-11-05 14:30 高山流的不是水 阅读(335) 评论(0) 推荐(0)
mrjob 使用 mongodb 作为数据源
摘要：When using a mongoDB collection as input, add the arguments-jobconf mongo.input.uri=and-inputformat com.mongodb.hadoop.mapred.MongoInputFormatWhen usi... 阅读全文
posted @ 2015-11-04 15:35 高山流的不是水 阅读(267) 评论(0) 推荐(0)
python 环境配置
摘要：每个项目都应该有自己的虚拟环境，如何方便的操作呢？1. 安装 virtualenv2. 安装 virtualenvwrapper3. 创建目录用来存放虚拟环境mkdir $HOME/.virtualenvs5. 在~/.bashrc中添加行：export WORKON_HOME=$HOME/.vir... 阅读全文
posted @ 2015-11-03 15:45 高山流的不是水 阅读(274) 评论(0) 推荐(0)