Mr.Ming2

摘要： mybatis源码分析 阅读全文

摘要： 以加入elsaticsearch-hadoop-2.1.2.jar为例，讲述在Hive中加入第三方jar的几种方式。 1，在hive shell中加入 [java] view plain copy [hadoop@hadoopcluster78 bin]$ ./hive Logging initia 阅读全文

摘要： maven 父子关系 父项目中打包方式必须是pom 如 <packaging>pom</packaging>，父项目中使用<modules><module>msite-base</module></modules>指定子项目 子项目中使用 <parent>指定父项目，子项目继承父项目的大部分属性 父 阅读全文

摘要： JOIN优化 1.大多数情况下，Hive会对每对Join连接对象启动一个MapReduce任务。 2.多表关联时，如果每个ON子句都使用相同的连接键的话，那么只会产生一个MapReduce Job。 3.Hive总是按照从左到右的顺序执行。Hive会假定最后一张表是最大的表，在对每行记录进行连接操作 阅读全文

摘要： udf udaf udtf 使用方式 hiverc文件 1、jar包放到安装日录下或者指定目录下 2、${HIVE_HOME}/bin目录下有个.hiverc文件，它是隐藏文件。 3、把初始化语句加载到文件中 然后打开hive时，它会自动执行.hiverc文件。 阅读全文

摘要： CLI参数 两种修改方式： 1）启动时 hive --hiveconf hive.cli.print.current.db=true 2）修改当前用户home目录下 .hiverc文件，hive cli默认加载此文件 每个配置项以分号结束 显示当前数据库名 hive.cli.print.curren 阅读全文

摘要： hdfs相关 1.查看HDFS文件目录 mapreduce相关 1.查看mapred job UsedContainers RsvdContainers UsedMem RsvdMem NeededMem 当usedmem达到neededmem时任务就无法执行了。 计算方式： 队列容量=yarn.s 阅读全文

摘要： 一个Hive查询生成多个Map Reduce Job，一个Map Reduce Job又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob）的优化， 阅读全文

摘要： 1.hive是什么？ 2.MapReduce框架实现SQL基本操作的原理是什么? 3.Hive怎样实现SQL的词法和语法解析? 连接：http://www.aboutyun.com/thread-20461-1-1.html 美团大众点评上：http://tech.meituan.com/hive- 阅读全文

摘要： 完美的单例 双重检查锁（DCL） 用处：延迟初始化，降低同步开销。double checked locking 注意：single必须声明为volatile，且支持JDK1.5及以上版本。 对象初始化需要三个步骤： memory=allocate(); //1.分配内存空间 ctorInstance 阅读全文