虎啸千峰

摘要： 一、概述 将数据以parquet模式写入到hive的分区表中时，底层源码有个错误，在进行分割字段判断时，没有引用已传入字符，多了一个“=”；该错误在hive的client中也会碰到 错误原因是底层分割符引用错误， 二、解决方法 从https://github.com/apache/parquet-m 阅读全文

摘要： 一、TDH开启kerberos后登陆hive方式 TDH的hive是继承到平台中的，需要使用远程的方式连接hive数据库，当kerberos开启后，需要添加kerberos协议规则；使用方式如下 beeline -u 'jdbc:hive2://localhost:10000/demo;princi 阅读全文

摘要： 一、没有开通kerberos而使用kerberos方式连接报错 报错：Peer indicated failure: Unsupported mechanism type GSSAPI 这是因为hive所在集群已经关闭了kerberos，但是连接字符串还是采用kerberos方式就会爆此错误； 此时 阅读全文

摘要： 一、概述 1、 hive中的Timestamp Hive在0.8的版本后开始支持Timestamp的格式。Hive在储存时间戳的时候会先把时间转成UTC的时间，然后再把转换后的时间存储到Parquet文件中。在读取Parquet文件的时候Hive会把时间从UTC时间再转化回成本地的时间。这样的话，如 阅读全文

摘要： 一、概述 Spark处理关系型数据库时需要加载关系型数据库的驱动，不然会报找不到驱动包的错误。一般根据Spark的使用不是不同有以下几种加载驱动包的方法。 二、加载驱动包的方法 1、使用--jars的命令 ./spark-submit --classs com.rdc.bdata.compute.j 阅读全文

摘要： 一、概述 Maven使用过程中，如果使用多model的形式组织项目，单个模块之间是相互独立的；编译整个root目录时会对每个模块都进行统一编译。单单对某个模块进行编译，该模块不会对其他模块进行编译，即便是其引用的模块。 二、坑描述和解决方法 踩坑描述：在对一个通用jar包进行打包时，该模块对其他模块 阅读全文

摘要： 一、Sparksql隐式转换时异常描述 Cannot create encoder for Option of Product type, because Product type is represented as a row, and the entire row can not be null 阅读全文

摘要： 一、概述 在调试Spark项目的时候报了一个包冲突异常，找了好长时间，最后发现是包冲突了；特此记录一下，原始报错找不到了。一般包冲突有个明显的特征就是报类找不到异常，可以根据提示把Spark冲突的包排除掉，然后再把其他的把单独加上去，就可以解决了。 Caused by: java.lang.Numb 阅读全文

摘要： 一、概述 由于我们在使用spark编写时，使用文件一般都是从C://file//demo.txt,都是以文件盘符开始的，而Linux中没有盘符号，只有文件目录，例如:file:///home//demo//test//txt.json； 我们在进行本地测试时往往都是用的window，因此，直接把js 阅读全文

摘要： 一、安装vsftpd 1、使用yum安装 yum install -y vsftpd 2、新增用户 useradd ftpuser 3、修改用户密码 echo "123456" | passwd ftpuser --stdin 4、限制该用户仅能通过FTP访问 限制用户 ftpuser只能通过 FT 阅读全文