bigdata6666

摘要： 一个 HFile 在 HBase 中对应一个表中特定列族的部分数据。在 HBase 的存储体系中，数据是按照表 -> Region -> Store -> StoreFile -> HFile 这样逐层组织的： Table（表）：HBase 表由多个行和列族组成。 Region：每个表被水平划分成多 阅读全文

摘要： 问题 杀死一个节点后重启报节点已存在： java.lang.RuntimeException: A node with address *** already exists, cancelling join. Use cassandra.replace_address if you want to 阅读全文

摘要： org.apache.calcite.sql.validate.SqlValidator.Config#withLenientOperatorLookup 设置为true SqlValidator.Config.DEFAULT.withSqlConformance(calciteConnection 阅读全文

摘要： decode函数 decode(bin, charset) - 使用第二个参数字符集解码第一个参数。 decode(expr, search, result [, search, result ] ... [, default]) - 解码比较 expr 对每个搜索值一一进行。如果 expr 等于搜 阅读全文

摘要： 1.[SPARK-39936][SQL] Store schema in properties for Spark Views，spark视图保存到hive metastore时未清空tableschema导致解析失败 Hive DataType解析器主要发生在Hive的元数据存储（Hive Met 阅读全文

摘要： Hive SQL 的 ntile 函数用于将分组数据按照顺序切分成n组，并返回当前切片值。如果切片不均匀，默认增加第一个切片的分布。它把有序的数据集合「平均分配」到指定的数量（n）个桶中, 将桶号分配给每一行。如果不能平均分配，则优先分配较小编号的桶，并且各个桶中能放的行数最多相差 1。 语法 Hi 阅读全文

摘要： 1.SPARK-26114（已合）repartitionAndSortWithinPartitions 后合并时 PartitionedPairBuffer 的内存泄漏 原因 这个Spark源码的issue描述了在使用coalesce操作合并分区时可能会导致PartitionedPairBuffer 阅读全文

摘要： 查看zk的连接的进程 netstat -tnp|grep 2181|wc -l 阅读全文

摘要： 操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后，在未安装HBase的环境执行Hive on Spark任务时，可避免任务卡顿。 说明：Hive on Spark任务执行Hive on Spark任务。如果没有安装HBase，默认在执行Spark任务时，会尝试去连接Zookeeper访 阅读全文

摘要： hiveserver2中的报错如下 Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Got exception: org.apache.hadoop.ipc.RemoteExcept 阅读全文