hadoop - 随笔分类 - LuckyBill

Hadoop 2.4.1 搭建Ha遇到问题记录分类： hadoop 2015-07-08 22:35 133人阅读评论(0) 收藏

摘要：15/06/19 17:12:44 ERROR namenode.FSNamesystem: FSNamesystem initialization failed.java.io.IOException: Invalid configuration: a shared edits dir must ... 阅读全文

posted @ 2015-07-08 22:35 LuckyBill 阅读(759) 评论(0) 推荐(0) |

StormDRPC 概念以及简单例子测试分类： hadoop 2015-07-08 22:10 92人阅读评论(0) 收藏

摘要：Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPUintensive的计算。DRPC的stormtopology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。DRPC其实不能算是storm本身的一个特性，它是通过组合storm的原语spout，... 阅读全文

posted @ 2015-07-08 22:10 LuckyBill 阅读(202) 评论(0) 推荐(0) |

ZooKeeper典型应用场景一览分类： hadoop 2015-06-25 22:40 18人阅读评论(0) 收藏

摘要：ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的... 阅读全文

posted @ 2015-06-25 22:40 LuckyBill 阅读(115) 评论(0) 推荐(0) |

Zookeeper实现分布式锁分类： hadoop Java 2015-06-25 22:38 68人阅读评论(0) 收藏

摘要：package com.billstudy.zookeeper;import java.util.ArrayList;import java.util.List;import java.util.concurrent.TimeUnit;import org.apache.zookeeper.Crea... 阅读全文

posted @ 2015-06-25 22:38 LuckyBill 阅读(134) 评论(0) 推荐(0) |

Zookeeper实现服务上下线监控服务列表分类： hadoop Java 2015-06-25 22:37 71人阅读评论(0) 收藏

摘要：package com.billstudy.zookeeper;import java.util.ArrayList;import java.util.List;import java.util.concurrent.TimeUnit;import org.apache.zookeeper.Crea... 阅读全文

posted @ 2015-06-25 22:37 LuckyBill 阅读(161) 评论(0) 推荐(0) |

MapReducer-找共同好友分类： Java hadoop 2015-06-25 22:31 71人阅读评论(0) 收藏

摘要：package com.billstudy.mr.friends;import java.io.IOException;import java.util.Arrays;import java.util.concurrent.TimeUnit;import org.apache.hadoop.conf... 阅读全文

posted @ 2015-06-25 22:31 LuckyBill 阅读(248) 评论(0) 推荐(0) |

HDFS写文件解析分类： hadoop 2015-06-02 22:46 146人阅读评论(0) 收藏

摘要：client通过DistributedFileSystem对象调用create()方法创建文件，实际上通过RPC调用了NameNode的方法。NameNode收到client的请求之后，执行各种检查（1.确认要传文件目前在HDFS上不存在，2.client具有写的权限）如果通过则会为新文件创建一条记... 阅读全文

posted @ 2015-06-02 22:46 LuckyBill 阅读(146) 评论(0) 推荐(0) |

sqoop 和mysql相关操作分类： Linux hadoop 2015-06-02 22:42 38人阅读评论(0) 收藏

摘要：数据迁移工具,可以和RDBMS相互迁移数据需要先将db driver copy to sqoop lib dir注意： sqoop是以mapreduce的方式来运行任务的，用hdfs来存储数据的。所以依赖NameNode和ResourceManager，只要机器上配置了这两个就可以正常运行，程序运行... 阅读全文

posted @ 2015-06-02 22:42 LuckyBill 阅读(131) 评论(0) 推荐(0) |

HBase shell 分类： hadoop 2015-06-02 22:40 33人阅读评论(0) 收藏

摘要：进入hbase命令行./hbase shell显示hbase中的表list创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息... 阅读全文

posted @ 2015-06-02 22:40 LuckyBill 阅读(123) 评论(0) 推荐(0) |

hbase 概念 + 搭建分布式HA应用分类： Linux hadoop 2015-06-02 22:39 155人阅读评论(0) 收藏

摘要：HBase - Hadoop Databasehbase的设计思想来自于google的bigtable主键：Row Key主键是用来检索记录的主键，访问Hbase table 中的行，只有三种方式通过单个Row Key 访问通过Row Key 的range全表扫描列族：Column Family列族... 阅读全文

posted @ 2015-06-02 22:39 LuckyBill 阅读(136) 评论(0) 推荐(0) |

hbase 概念 + 搭建分布式HA应用分类： Linux hadoop 2015-06-02 22:39 156人阅读评论(0) 收藏

摘要：HBase - Hadoop Databasehbase的设计思想来自于google的bigtable主键：Row Key主键是用来检索记录的主键，访问Hbase table 中的行，只有三种方式通过单个Row Key 访问通过Row Key 的range全表扫描列族：Column Family列族... 阅读全文

posted @ 2015-06-02 22:39 LuckyBill 阅读(142) 评论(0) 推荐(0) |

hadoop版本与支持的hbase版本对照表分类： hadoop 2015-05-27 22:22 30人阅读评论(0) 收藏

摘要：As of Hive 0.9.0 the HBase integration requires at least HBase 0.92, earlier versions of Hive were working with HBase 0.89/0.90以下内容来自下载的HBASE-0.94.7的b... 阅读全文

posted @ 2015-05-27 22:22 LuckyBill 阅读(139) 评论(0) 推荐(0) |

hadoop版本与支持的hbase版本对照表分类： hadoop 2015-05-27 22:22 31人阅读评论(0) 收藏

摘要：As of Hive 0.9.0 the HBase integration requires at least HBase 0.92, earlier versions of Hive were working with HBase 0.89/0.90以下内容来自下载的HBASE-0.94.7的b... 阅读全文

posted @ 2015-05-27 22:22 LuckyBill 阅读(117) 评论(0) 推荐(0) |

eclipse 远程调试hadoop代码分类： Linux hadoop 2015-05-27 22:14 148人阅读评论(0) 收藏

摘要：zxxJPDA 简介Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interface 和 JDI）、一个协... 阅读全文

posted @ 2015-05-27 22:14 LuckyBill 阅读(118) 评论(0) 推荐(0) |

eclipse 远程调试hadoop代码分类： Linux hadoop 2015-05-27 22:14 149人阅读评论(0) 收藏

摘要：zxxJPDA 简介Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interface 和 JDI）、一个协... 阅读全文

posted @ 2015-05-27 22:14 LuckyBill 阅读(115) 评论(0) 推荐(0) |

HDFS读取文件步骤分类： hadoop 2015-05-27 22:08 117人阅读评论(0) 收藏

摘要：client调用FileSystem.open(),该FileSystem指向的实例是DistrbutedFileSystem（DFS），它通过RPC请求到Namenode.Namenode收到请求后，对于每一个块返回存有该副本的Datanode地址。并且依照“网络拓扑”来排序。（就近原则）DFS获... 阅读全文

posted @ 2015-05-27 22:08 LuckyBill 阅读(127) 评论(0) 推荐(0) |

HDFS读取文件步骤分类： hadoop 2015-05-27 22:08 116人阅读评论(0) 收藏

摘要：client调用FileSystem.open(),该FileSystem指向的实例是DistrbutedFileSystem（DFS），它通过RPC请求到Namenode.Namenode收到请求后，对于每一个块返回存有该副本的Datanode地址。并且依照“网络拓扑”来排序。（就近原则）DFS获... 阅读全文

posted @ 2015-05-27 22:08 LuckyBill 阅读(140) 评论(0) 推荐(0) |

hadoop-wordcount demo 分类： hadoop 2015-04-19 15:51 47人阅读评论(0) 收藏

摘要：package com.billstudy.hdfs;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.h... 阅读全文

posted @ 2015-04-19 15:51 LuckyBill 阅读(86) 评论(0) 推荐(0) |

hadoop-wordcount demo 分类： hadoop 2015-04-19 15:51 46人阅读评论(0) 收藏