摘要:
本文主要介绍通过JDBC连接Hive服务时,连接串中在不同场景下涉及到的参数,这些场景包括非Kerberos认证环境、Kerberos认证环境、Kerberos认证环境下使用代理用户及Kerberos认证环境下使用代理用户且指定队列等使用场景。 1.非Kerberos认证环境下hive jdbc连接 阅读全文
摘要:
在日常工作中经常需要对Hadoop的配置文件的值进行替换,但是又不能通过手动去修改hdfs-site.xml中的内容,只能通过shell脚本来修改。本文旨在提供一种方法,通过shell脚本来替换Hadoop配置的内容。 具体实现方法为: change_xml_value() { name=$1 va 阅读全文
摘要:
因为懒汉式的实现是线程安全的,所以会降低整个访问速度,而且每次访问都要判断一次。有没有更好的方式实现呢?可以使用“双重检查枷锁”的方式来实现。 所谓“双重检查加锁”机制,是指并不是每次静茹getInstance方法都需要同步,而是先不同步。当进入方法后,先检查实力是否存在,如果不存在才进行下面的同步 阅读全文
摘要:
1 文件个数限额 #查看配额信息 hdfs dfs -count -q -h /user/root/dir1 #设置N个限额数量,只能存放N-1个文件 hdfs dfsadmin -setQuota 2 dir #清除个数限额配置 hdfs dfsadmin -clrQuota /user/root 阅读全文
摘要:
在hive的日常使用中,经常需要将hive表中的数据导出来,虽然hive提供了多种导出方式,但是面对不同的数据量、不同的需求,如果随意就使用某种导出方式,可能会导致导出时间过长,导出的结果不满足需求,甚至造成集群资源不必要的浪费。因此本文主要对hive支持的几种导出方式的使用进行整理,并给出每种导出 阅读全文
摘要:
问题描述:beeline -u 方式导出数据,结果文件中含有“|”(竖杠)。 执行的sql为:beeline -u jdbc:hive2://hadoop1:10000/default -e 'select * from tablename' > /home/tmp/result.nb 执行结果如下 阅读全文
摘要:
以前使用ecplise开发代码,现在换成IDEA,有很多操作都不习惯,比如添加jar包。网上可以找到IDEA好几种添加jar包的方法,这里主要介绍在用IDEA开发时如何像ecplise一样添加jar包?具体步骤如下: 步骤一、鼠标放到模块(或项目)名,右击鼠标,选择【New】->【Directory 阅读全文