yuerspring

摘要：用shell & Python 封装 Hive SQL 实现类Store Procedure 功能Shell 资料 http://c.biancheng.net/cpp/view/7002.html#!/bin/bashhql = “ ”hive -e ... 阅读全文

posted @ 2016-07-04 15:53 yuerspring 阅读(501) 评论(0) 推荐(0)

摘要：更多详细Hive Metaserver thrift 资料请参考 http://www.aboutyun.com/thread-10937-1-1.html 阅读全文

posted @ 2016-07-03 17:54 yuerspring 阅读(140) 评论(0) 推荐(0)

摘要：一、调优的目的充分的利用机器的性能，更快的完成mr程序的计算任务。甚至是在有限的机器条件下，能够支持运行足够多的mr程序。二、调优的总体概述从mr程序的内部运行机制，我们可以了解到一个mr程序由mapper和reducer两个阶段组成，其中mapper... 阅读全文

posted @ 2016-07-03 17:07 yuerspring 阅读(244) 评论(0) 推荐(0)

摘要：数据库设计指南如果把企业的数据比做生命所必需的血液，那么数据库的设计就是应用中最重要的一部分。有关数据库设计的材料汗牛充栋，大学学位课程里也有专门的讲述。不过，就如我们反复强调的那样，再好的老师也比不过经验的教诲(体验决定深度、知识决定广度)。所以我们最近找了... 阅读全文

posted @ 2016-07-03 09:04 yuerspring 阅读(321) 评论(0) 推荐(0)

摘要：领导力21法则第一法则：盖子法则领导能力决定一个人办事的成效水平。（1）你想爬得越高，就越需要领导力；你想发挥更大的影响，就需要更大的影响力。（2）领导能力常常是一个人及团体办事成效的盖子。如果领导能力强，锅盖就高，反之，团体的发展潜力便会受到限制。（3）个人... 阅读全文

posted @ 2016-07-03 09:01 yuerspring 阅读(818) 评论(0) 推荐(0)

摘要： Exception in thread "main" java.io.IOException: Error generating shuffle secret key at org.apache.hadoop.mapreduce.JobSubmitter... 阅读全文

posted @ 2016-07-02 14:47 yuerspring 阅读(494) 评论(0) 推荐(0)

摘要：原文链接 http://www.oschina.net/p/facebook-prestoPresto是Facebook最新研发的数据查询引擎，可对250PB以上的数据进行快速地交互式分析。据称该引擎的性能是 Hive 的 10 倍以上。PrestoDB 是 Face... 阅读全文

posted @ 2016-07-01 17:01 yuerspring 阅读(374) 评论(0) 推荐(0)

摘要：大数据架构简单流程图nginx ---->flume ----->kafka ----> storm -----> hdfs(mysql)------>hbse(hive)---->spark(MR)航空电商大规模实时日志分析1）.数据采集负责从各节点上实时采集数据，... 阅读全文

posted @ 2016-06-30 11:16 yuerspring 阅读(153) 评论(0) 推荐(0)

摘要：经常用到的cmd 是 hbase shell，但是局限于cmd 能够实现的功能，从HDFS批量导入大额数据Hbase 时，需要更强大的工具，而且导入的时候可能会有ETL 操作可以参考示例 http://www.linuxidc.com/Linux/2014-03/... 阅读全文

posted @ 2016-06-29 09:19 yuerspring 阅读(221) 评论(0) 推荐(0)

摘要： service keepalived start service tengine startflume-ng agent --conf conf --conf-file /usr/apache-flume-1.6.0-bin/conf/getnginxlog --n... 阅读全文

posted @ 2016-06-27 22:51 yuerspring 阅读(229) 评论(0) 推荐(0)