07 2017 档案

排序算法
摘要：插入排序 归并排序 阅读全文
posted @ 2017-07-25 17:15 Mr.Ming2 阅读(110) 评论(0) 推荐(0)
系列文章精选
摘要：mybatis源码分析 阅读全文
posted @ 2017-07-25 16:34 Mr.Ming2 阅读(137) 评论(0) 推荐(0)
Hive如何添加第三方JAR
摘要：以加入elsaticsearch-hadoop-2.1.2.jar为例，讲述在Hive中加入第三方jar的几种方式。 1，在hive shell中加入 [java] view plain copy [hadoop@hadoopcluster78 bin]$ ./hive Logging initia 阅读全文
posted @ 2017-07-24 13:54 Mr.Ming2 阅读(8277) 评论(0) 推荐(0)
maven详解之结构
摘要：maven 父子关系 父项目中打包方式必须是pom 如 <packaging>pom</packaging>，父项目中使用<modules><module>msite-base</module></modules>指定子项目 子项目中使用 <parent>指定父项目，子项目继承父项目的大部分属性 父 阅读全文
posted @ 2017-07-14 10:23 Mr.Ming2 阅读(291) 评论(0) 推荐(0)
Hive任务优化（2）
摘要：JOIN优化 1.大多数情况下，Hive会对每对Join连接对象启动一个MapReduce任务。 2.多表关联时，如果每个ON子句都使用相同的连接键的话，那么只会产生一个MapReduce Job。 3.Hive总是按照从左到右的顺序执行。Hive会假定最后一张表是最大的表，在对每行记录进行连接操作 阅读全文
posted @ 2017-07-13 11:01 Mr.Ming2 阅读(250) 评论(0) 推荐(0)
hive自定义UDF
摘要：udf udaf udtf 使用方式 hiverc文件 1、jar包放到安装日录下或者指定目录下 2、${HIVE_HOME}/bin目录下有个.hiverc文件，它是隐藏文件。 3、把初始化语句加载到文件中 然后打开hive时，它会自动执行.hiverc文件。 阅读全文
posted @ 2017-07-13 09:59 Mr.Ming2 阅读(447) 评论(0) 推荐(0)
hive参数配置
摘要：CLI参数 两种修改方式： 1）启动时 hive --hiveconf hive.cli.print.current.db=true 2）修改当前用户home目录下 .hiverc文件，hive cli默认加载此文件 每个配置项以分号结束 显示当前数据库名 hive.cli.print.curren 阅读全文
posted @ 2017-07-11 11:21 Mr.Ming2 阅读(366) 评论(0) 推荐(0)
hadoop 基本命令
摘要：hdfs相关 1.查看HDFS文件目录 mapreduce相关 1.查看mapred job UsedContainers RsvdContainers UsedMem RsvdMem NeededMem 当usedmem达到neededmem时任务就无法执行了。 计算方式： 队列容量=yarn.s 阅读全文
posted @ 2017-07-10 14:04 Mr.Ming2 阅读(1146) 评论(0) 推荐(0)
Hive任务优化（1）
摘要：一个Hive查询生成多个Map Reduce Job，一个Map Reduce Job又有Map，Reduce，Spill，Shuffle，Sort等多个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化（其中又会有细分），针对MR全局的优化，和针对整个查询（多MRJob）的优化， 阅读全文
posted @ 2017-07-07 22:35 Mr.Ming2 阅读(2076) 评论(0) 推荐(0)
【HIVE】sql语句转换成mapreduce
摘要：1.hive是什么？ 2.MapReduce框架实现SQL基本操作的原理是什么? 3.Hive怎样实现SQL的词法和语法解析? 连接：http://www.aboutyun.com/thread-20461-1-1.html 美团大众点评上：http://tech.meituan.com/hive- 阅读全文
posted @ 2017-07-07 15:33 Mr.Ming2 阅读(7422) 评论(0) 推荐(1)
设计模式之【单例模式】
摘要：完美的单例 双重检查锁（DCL） 用处：延迟初始化，降低同步开销。double checked locking 注意：single必须声明为volatile，且支持JDK1.5及以上版本。 对象初始化需要三个步骤： memory=allocate(); //1.分配内存空间 ctorInstance 阅读全文
posted @ 2017-07-04 17:04 Mr.Ming2 阅读(201) 评论(0) 推荐(0)
设计模式概述
摘要：设计模式主要分三个类型:创建型、结构型和行为型。 其中 创建型有： 一、Singleton，单例模式：保证一个类只有一个实例，并提供一个访问它的全局访问点 二、Abstract Factory，抽象工厂：提供一个创建一系列相关或相互依赖对象的接口，而无须指定它们的具体类。 三、Factory Met 阅读全文
posted @ 2017-07-04 17:02 Mr.Ming2 阅读(185) 评论(0) 推荐(0)
计算机基础--Java中int char byte的关系
摘要：计算机基础--Java中int char byte的关系 重要：一个汉字占用2byte，Java中用char（0-65535 Unicode16）型字符来存字（直接打印输出的话是字而非数字），当然要用int（32位）来存字是可以的，将char型值赋给int型会自动类型转换。 所谓int为整形数 表示 阅读全文
posted @ 2017-07-04 10:41 Mr.Ming2 阅读(881) 评论(0) 推荐(0)