pursue330

2019年4月17日

摘要： https://blog.csdn.net/qq_33689414/article/details/80328665 hive关联hbase的配置文件 hive和hbase同步https://cwiki.apache.org/confluence/display/Hivehttps://cwiki. 阅读全文

posted @ 2019-04-17 17:42 pursue330 阅读(585) 评论(0) 推荐(0) 编辑

hive和hbase的区别

摘要：（一）相同点 1、HBase 和 Hive 都是架构在 Hadoop 之上，用 HDFS 做底层的数据存储，用 MapReduce 做数据计算（二）不同点 1、Hive 是建立在 Hadoop 之上为了降低 MapReduce 编程复杂度的 ETL 工具。 HBase 是为了弥补 Hadoop 阅读全文

posted @ 2019-04-17 14:49 pursue330 阅读(1077) 评论(0) 推荐(0) 编辑

2019年4月5日

hbase使用MapReduce操作4（实现将 HDFS 中的数据写入到 HBase 表中）

摘要：实现将 HDFS 中的数据写入到 HBase 表中 Runner类 Mapper类 Reduce类阅读全文

posted @ 2019-04-05 10:41 pursue330 阅读(989) 评论(0) 推荐(0) 编辑

hbase使用MapReduce操作3（实现将 fruit 表中的一部分数据，通过 MR 迁入到 fruit_mr 表中）

摘要： Runner类实现将 fruit 表中的一部分数据，通过 MR 迁入到 fruit_mr 表中。 Mapper类 Reduce类阅读全文

posted @ 2019-04-05 10:38 pursue330 阅读(324) 评论(0) 推荐(0) 编辑

hbase使用MapReduce操作2（微博表实现）

摘要： package com.yjsj.weibo; import java.io.IOException; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hado... 阅读全文

posted @ 2019-04-05 10:36 pursue330 阅读(294) 评论(0) 推荐(0) 编辑

java代码中存在的Big Endian 和 Little Endian

摘要： Big Endian 和 Little Endian 详解 Java中的Big(Little)-endian问题的一种解决方法主机序和网络序很重要很重要几种ip存放形式 Big-Endian和Little-Endian转换第二个链接内容即，介绍解决问题阅读全文

posted @ 2019-04-05 09:39 pursue330 阅读(1252) 评论(0) 推荐(0) 编辑

2019年4月4日

通过hbase实现日志的转存(MR AnalyserLogDataRunner和AnalyserLogDataMapper）

摘要：操作代码（提前启动集群（start-all.sh）、zookeeper(zkServer.sh start)、启动历史任务服务器（mr-jobhistory-daemon.sh start historyserver）、hbase(start-hbase.sh start)）然后在hbase中创建阅读全文

posted @ 2019-04-04 16:13 pursue330 阅读(208) 评论(0) 推荐(0) 编辑

hbase使用MapReduce操作1（基本增删改查）

摘要：操作代码阅读全文

posted @ 2019-04-04 16:12 pursue330 阅读(690) 评论(0) 推荐(0) 编辑

配置好Nginx后，通过flume收集日志到hdfs（记得生成本地log时，不要生成一个文件，）

摘要：生成本地log最好生成多个文件放在一个文件夹里，特别多的时候一个小时一个文件配置好Nginx后，通过flume收集日志到hdfs 可参考flume的文件用flume的案例二执行的注意点 avro和exec联合用法 https://blog.csdn.net/HG_Harvey/article/ 阅读全文

posted @ 2019-04-04 11:39 pursue330 阅读(406) 评论(0) 推荐(0) 编辑

2019年4月3日

Linux下配置Nginx（在root的/etc/rc.local里配置开机启动功能http://tengine.taobao.org/）

摘要：上面是下载的包下载地址 http://tengine.taobao.org/download_cn.html nginx官网http://nginx.org/ 下一步下一步其中remote为重要属性以前配置apache在配置ganglia的时候查看状态配置apache自动删除，删除干净或阅读全文

posted @ 2019-04-03 20:46 pursue330 阅读(1850) 评论(0) 推荐(0) 编辑

公告