虎啸千峰

摘要： 一、问题描述 客户现场报错数据块已经到达hadoop设置的最大限制：File has reached the limit on maximum number of blocks (dfs.namenode.fs-limits.max-blocks-per-file): 10000 >= 10000。 阅读全文

摘要： 1、问题现象 2、问题原因 获取默认ccache时，凭据缓存类型未知 3、解决方式 注释掉default_ccache_name属性 sed -ri "s/^ default_ccache_name = (.*)/# default_ccache_name = \1/g" /etc/krb5.con 阅读全文

摘要： 1、问题描述 Status: Failed Vertex's TaskResource is beyond the cluster container capability,Vertex=vertex_1597977573448_0003_1_00 [Map 9], Requested TaskRe 阅读全文

摘要： 1、问题描述： 2、问题原因： 这种报错跟 kerberos 或者 hive doAs 的配置更改有关 3、解决方法： 把 usercache 和 filecache 清掉就好了 阅读全文

摘要： 一、概述 CDP7.1.7版本部署完hive之后，开启了hivemetastore之后，已经把10000的端口占掉了；但是默认部署hive on tez时，hiveserver2的端口还是使用的该端口，会因为端口冲突导致hive on tez的hiverserver2不稳定，时常掉线。 二、问题原因 阅读全文

摘要： 一、概述 cdp的hive和hive on tez在兼容性方面做的不够好，正常的安装都会报各种各样的错误，比如安装完hive之后，再安装Hive on tez，会报错：Can't create directory /mnt/ssd/yarn/nm/usercache/urika/appcache/a 阅读全文

摘要： 一、问题现象 hbase客户端程序访问开启Kerberos认证的MRS集群的时候，报如下错误，使用jdk版本为1.8.0_252或者1.8.0_242-b08 二、问题原因 jre-8u242及以上版本会根据krb5.conf中是否配置了renew_lifetime属性值，重新设置kdcOption 阅读全文

摘要： 一、准备工作 hive本身支持hive on mr、hive on spark 和hive on tez三种执行引擎，CDH6.3.x及其以下版本都没有支持tez执行引擎，需要使用的话需要单独引入。由于CDH的hadoop版本进行了改造，因此tez的开源release版本不能直接使用，需要集成CDH 阅读全文

摘要： 一、问题描述 在使用CDH6.3.2的集群处理数据时，当创建的表格为orc格式，且表格中存在null字段时，where中的<>条件没有生效； 建表语句为： CREATE TABLE DWD_PC_INT_ZM_StockPoolComponent( ID bigint , JSID bigint , 阅读全文

摘要： 一、概述 在银行、基金和证券行业中，集群往往开启了kerberos安全验证，而如果用户创建kerberos用户的方式不对，就会产生各种各样的问题；比如当用户只创建了kerberos用户而没有将该用户名与系统用户绑定时，就会报错该用户找不到；涉及到shuffle操作的作业都会报类似的错误。 二、错误的 阅读全文