盛

摘要： 本文主要介绍通过JDBC连接Hive服务时，连接串中在不同场景下涉及到的参数，这些场景包括非Kerberos认证环境、Kerberos认证环境、Kerberos认证环境下使用代理用户及Kerberos认证环境下使用代理用户且指定队列等使用场景。 1.非Kerberos认证环境下hive jdbc连接 阅读全文

摘要： 在日常工作中经常需要对Hadoop的配置文件的值进行替换，但是又不能通过手动去修改hdfs-site.xml中的内容，只能通过shell脚本来修改。本文旨在提供一种方法，通过shell脚本来替换Hadoop配置的内容。 具体实现方法为： change_xml_value() { name=$1 va 阅读全文

摘要： 因为懒汉式的实现是线程安全的，所以会降低整个访问速度，而且每次访问都要判断一次。有没有更好的方式实现呢？可以使用“双重检查枷锁”的方式来实现。 所谓“双重检查加锁”机制，是指并不是每次静茹getInstance方法都需要同步，而是先不同步。当进入方法后，先检查实力是否存在，如果不存在才进行下面的同步 阅读全文

摘要： 1 文件个数限额 #查看配额信息 hdfs dfs -count -q -h /user/root/dir1 #设置N个限额数量,只能存放N-1个文件 hdfs dfsadmin -setQuota 2 dir #清除个数限额配置 hdfs dfsadmin -clrQuota /user/root 阅读全文

摘要： 在hive的日常使用中，经常需要将hive表中的数据导出来，虽然hive提供了多种导出方式，但是面对不同的数据量、不同的需求，如果随意就使用某种导出方式，可能会导致导出时间过长，导出的结果不满足需求，甚至造成集群资源不必要的浪费。因此本文主要对hive支持的几种导出方式的使用进行整理，并给出每种导出 阅读全文

摘要： 问题描述：beeline -u 方式导出数据，结果文件中含有“|”（竖杠）。 执行的sql为：beeline -u jdbc:hive2://hadoop1:10000/default -e 'select * from tablename' > /home/tmp/result.nb 执行结果如下 阅读全文

摘要： 以前使用ecplise开发代码，现在换成IDEA，有很多操作都不习惯，比如添加jar包。网上可以找到IDEA好几种添加jar包的方法，这里主要介绍在用IDEA开发时如何像ecplise一样添加jar包？具体步骤如下： 步骤一、鼠标放到模块（或项目）名，右击鼠标，选择【New】->【Directory 阅读全文

摘要： 程序一直处于Accept状态，无法调度运行 阅读全文

摘要： 在实际应用中，hdfs block块的大小设置为多少合适呢？为什么有的是64M，有的是128M、256M、512呢？ 阅读全文

摘要： JDBC工具类标准写法 阅读全文