大数据和AI躺过的坑

2016年10月16日

4 kafka集群部署及kafka生产者java客户端编程 + kafka消费者java客户端编程

摘要：本博文的主要内容有 kafka的单机模式部署 kafka的分布式模式部署生产者java客户端编程消费者java客户端编程运行kafka ，需要依赖 zookeeper，你可以使用已有的 zookeeper 集群或者利用 kafka自带的zookeeper。单机模式，用的是kafka自带的zo 阅读全文

posted @ 2016-10-16 10:00 大数据和AI躺过的坑阅读(20140) 评论(0) 推荐(1)

3 kafka介绍

摘要：本博文的主要内容有 .kafka的官网介绍 http://kafka.apache.org/ 来，用官网上的教程，快速入门。 http://kafka.apache.org/documentation kafka的官网文档教程。 The Producer API allows an applicat 阅读全文

posted @ 2016-10-16 09:23 大数据和AI躺过的坑阅读(2324) 评论(0) 推荐(0)

2 storm的topology提交执行

摘要：本博文的主要内容有 .storm单机模式，打包，放到storm集群 .Storm的并发机制图 .Storm的相关概念 .附PPT 打包，放到storm集群去。我这里，是单机模式下的storm。 weekend110-storm -> Export -> JAR file -> 当然，这边，肯定是，准阅读全文

posted @ 2016-10-16 09:01 大数据和AI躺过的坑阅读(4929) 评论(1) 推荐(1)

2016年10月15日

1 storm基本概念 + storm编程规范及demo编写

摘要：本博文的主要内容有 .Storm的单机模式安装 .Storm的分布式安装（3节点） .No space left on device .storm工程的eclipse的java编写 http://storm.apache.org/ 分布式的一个计算系统，但是跟mr不一样，就是实时的，实时的跟Mr离线阅读全文

posted @ 2016-10-15 22:52 大数据和AI躺过的坑阅读(7274) 评论(0) 推荐(2)

2016年10月14日

Kafka中错误：Unrecognized VM option ‘UseCompressedOops’ Error: Clould not create the Java Vritual Machine. Error: A fatal exception has occurres . Program will exit.

摘要：错误的描述：在kafka安装目录下，执行 $ bin/zookeeper-server-start.sh config/zookeeper.properties & Unrecognized VM option ‘UseCompressedOops’ Error: Clould not creat 阅读全文

posted @ 2016-10-14 08:58 大数据和AI躺过的坑阅读(5546) 评论(0) 推荐(0)

2016年10月13日

weekend110（Hadoop）的第七天笔记

摘要：（2015年1月31日）课程目录 01-storm基本概念 02-storm编程规范及demo编写 03-storm的topology提交执行 04-kafka介绍 05-kafka集群部署及客户端编程 06-kafka消费者java客户端编程 07-kafka整合storm 阅读全文

posted @ 2016-10-13 16:46 大数据和AI躺过的坑阅读(257) 评论(0) 推荐(0)

大牛博客！Spark / Hadoop / Kafka / HBase / Storm

摘要：在这里，非常感谢下面的著名大牛们，一路的帮助和学习，给予了我很大的动力！有了Hadoop，再次有了Spark，一次又一次，一晚又一晚的努力相伴！ HBase简介（很好的梳理资料） 1、　博客主页：http://jiajun.iteye.com/ 2、博客主页：http://www.cnblogs. 阅读全文

posted @ 2016-10-13 16:38 大数据和AI躺过的坑阅读(2430) 评论(0) 推荐(1)

ERROR: The node /hbase is not in ZooKeeper. It should have been written by the master. Check the value configured in 'zookeeper.znode.parent'. There could be a mismatch with the one configured in the

摘要： hbase shell下list命令出错。 [hadoop@djt002 hbase]$ hbase shell 2016-07-20 19:37:12,522 INFO [main] Configuration.deprecation: hadoop.native.lib is deprecate 阅读全文

posted @ 2016-10-13 16:24 大数据和AI躺过的坑阅读(1944) 评论(0) 推荐(0)

HBase学习笔记

摘要：本博文的主要内容有 .HBase .特点 .HBase在Hadoop子系统中的位置 .HBase表结构 .row key ,即 rc .Column Family,即 cf .时间戳 .Table & Region .RegionServer概念 .HBase模型 .Client .Zookeepe 阅读全文

posted @ 2016-10-13 15:41 大数据和AI躺过的坑阅读(529) 评论(0) 推荐(1)

Storm、Flume、Hive、HBase和Pig等学习笔记

摘要：本博文主要的内容有 .Storm .Flume .Scribe .二次排序详解 .InputFormat的实际使用 .MapReduce迭代器的不同 .HBase编码格式的细节 .设置SingleColumnValueFilter时候注意的地方 .HBase中有两张特殊的Table，ROOT-和.M 阅读全文

posted @ 2016-10-13 15:15 大数据和AI躺过的坑阅读(491) 评论(0) 推荐(0)

大数据和人工智能躺过的坑

公告