摘要：
一、hive自己进行优化 对union这样的命令进行了优化 二、数据本地化率 hdfs数据本地化率对hive性能产生影响 在数据大小... 阅读全文
posted @ 2022-11-10 19:24
彬在俊
阅读(340)
评论(0)
推荐(0)
摘要：
一、问题 跑spark或hive脚本报错如下： [INFO] 2020-03-31 11:06:03 -> java.io.IOE... 阅读全文
posted @ 2022-11-10 19:24
彬在俊
阅读(1278)
评论(0)
推荐(0)
摘要：
前言 今天在使用 curl 命令下载文件时，遇到报错，这里整理并记录一下。 报错内容 SSL peer certificate or... 阅读全文
posted @ 2022-11-10 19:24
彬在俊
阅读(2741)
评论(0)
推荐(0)
摘要：
前言 在安装 ranger 服务时，初始化数据库失败，需要修改数据库参数 log_bin_trust_function_creato... 阅读全文
posted @ 2022-11-10 19:24
彬在俊
阅读(155)
评论(0)
推荐(0)
摘要：
前言 最近在安装 LDAP 服务时，由于初始化步骤有误，导致 LDAP 服务异常，由于对于 LDAP 服务不是很熟悉，只能卸载后，重... 阅读全文
posted @ 2022-11-10 19:24
彬在俊
阅读(584)
评论(0)
推荐(0)
摘要：
前言 最近在学习Flink 读写 Kafka， 突然想到如果 Flink 生产消息到Kafka，那么这条消息如何确定发往那个分区。顺... 阅读全文
posted @ 2022-11-10 19:24
彬在俊
阅读(1127)
评论(0)
推荐(0)
摘要：
前言 最近公司HADOOP集群突然变慢了，具体的表现为进入hive后，提交查询语句，很久之后才会提交到YARN 集群上。并且Yarn... 阅读全文
posted @ 2022-11-10 19:24
彬在俊
阅读(151)
评论(0)
推荐(0)
摘要：
一、snapshot命令 允许这个文件路径可以创建snapshots： hdfs dfsadmin -allowSnapshot ... 阅读全文
posted @ 2022-11-10 19:24
彬在俊
阅读(651)
评论(0)
推荐(0)
摘要：
前言 之前公司的 presto 服务一直不是很稳定，随着资源组，配置优化，代码二次开发。presto 服务基本上已经趋于稳定了。这个... 阅读全文
posted @ 2022-11-10 19:24
彬在俊
阅读(671)
评论(0)
推荐(0)
摘要：
前言 再将 hbase 导入 hive 表时，出现行数远远大于实际的数量，排查后发现是hbase 数据中有很多换行， 所以需要使用第... 阅读全文
posted @ 2022-11-10 19:24
彬在俊
阅读(100)
评论(0)
推荐(0)
浙公网安备 33010602011771号