IT虾米网

05 2015 档案

Hadoop单机伪分布式
摘要：环境配置：Ubuntu11.10，Hadoop1.0.0 安装ssh 1 apt-get install ssh 安装rsy 1 apt-get install rsync 配置ssh免密码登录 1 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 2 cat ~/. 阅读全文
posted @ 2015-05-19 14:02 落叶的博客 阅读(223) 评论(0) 推荐(0) 编辑
Hadoop JAVA 开发说明
摘要：作为Hadoop程序员，他要做的事情就是： 1、定义Mapper，处理输入的Key-Value对，输出中间结果。2、定义Reducer，可选，对中间结果进行规约，输出最终结果。3、定义InputFormat 和OutputFormat，可选，InputFormat将每行输入文件的内容转换为Java类 阅读全文
posted @ 2015-05-19 14:00 落叶的博客 阅读(3947) 评论(0) 推荐(0) 编辑
Java 批量插入数据（Oracle）
摘要：//批量添加20000条数据用时8秒。 try { String url = "jdbc:oracle:thin:@IP:1521:orcl"; // orcl为数据库的SID String user = "oracle"; String password = "oracle"; StringBuf 阅读全文
posted @ 2015-05-19 13:58 落叶的博客 阅读(16875) 评论(1) 推荐(1) 编辑
Myeclipse 的hadoop环境搭建
摘要：https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar 2. 放入eclipse的插件目录。这里以Myeclipse8.5为例(貌似，myeclipse6. 阅读全文
posted @ 2015-05-19 13:56 落叶的博客 阅读(259) 评论(0) 推荐(0) 编辑
基于Eclipse的Hadoop应用开发环境配置
摘要：操作系统ubuntu11.10 单机模式 Hadoop版本：hadoop-0.20.1 Eclipse版本：eclipse-java-helios-SR2-linux-gtk.tar.gz(使用3.7的版本总是崩溃，让人郁闷) 第一步：先启动hadoop守护进程 具体参看：http://www.cn 阅读全文
posted @ 2015-05-19 13:55 落叶的博客 阅读(292) 评论(0) 推荐(0) 编辑
第一个hadoop 程序
摘要：首先检查hadoop是否安装并配置正确然后建立WordCount.java文件里面保存package org.myorg;import java.io.IOException;import java.util.*;import org.apache.hadoop.fs.Path;import org 阅读全文
posted @ 2015-05-19 13:53 落叶的博客 阅读(671) 评论(0) 推荐(0) 编辑