残雪余香

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

2012年12月24日

摘要: 运行Pydoop程序 Pydoop程序和其他的hadoop pipes应用程序一样,都需要一个工作的Hadoop集群,如果没有的话,你可以参考安装一个单机模式的Hadoop集群,将Hadoop集群配置成一个伪分布式模式,然后开启必须的守护进程。 pipes 命令行模式如下所示:${HADOOP_HOME}/bin/hadoop pipes -conf conf.xml -input input -output output inputpath 和 output 分别是Hadoop的上你的应用程序需要访问的输入数据路径和结果输出路径。从本地读入程序的配置文件,配置文件是一个如下所示的由键值对组. 阅读全文
posted @ 2012-12-24 22:21 残雪余香 阅读(1472) 评论(0) 推荐(0) 编辑

摘要: 1、安装scipy、numpy、pyfitssudo apt-get install python-scipysudo apt-get install python-numpysudo apt-get install python-pyfits测试安装是否成功:使用python命令进入命令行,然后分别输入:import scipy、import numpy、import pyfits是否有错,没有则正确2、安装pydoop前提:系统安装boost,检测,写一个c程序包含regex.hpp编译通过则安装完成,#include <boost/regex.hpp>安装boost:sudo 阅读全文
posted @ 2012-12-24 21:53 残雪余香 阅读(1581) 评论(1) 推荐(0) 编辑