狂飙的蜗牛

摘要： 目前公司用的hive 版本是 hive-3.0.0 bug 较多，这里汇总整理下，以备查阅 (如有缺失欢迎补充) 1.表单属性bucket_version 不同，导致join数据异常 1.1 自查方式 1.用spark-sql和hive 的结果数据对比 2.用hive引擎对比有无 hive.opti 阅读全文

摘要： 最近经常碰到ambari集群timeline server和ams-hbase 服务的一些问题，梳理了下这些服务之间的调用关系，留作笔记方便后续查阅 #1. 目前笔者用到的hadoop组件版本如下 ![](https://img2023.cnblogs.com/blog/1648386/202308 阅读全文

摘要： # 准备工作 pom中初始依赖组件版本配置如下 ``` 1.8 3.1.1.3.1.0.0-78 3.1.0.3.1.0.0-78 2.0.0 起始命令 mvn clean package -U -DskipTests -Dcheckstyle.skip -Dmaven.javadoc.skip=t 阅读全文

摘要： sed和grep类似,也是一种文件编辑器，相比grep仅限于搜索匹配，sed也支持编辑sed是一个流编辑器，所谓流编辑器是指sed每次只从文件或stdin中读入一行，将读入的行保存至模式空间然后根据指定的要求对其进行处理，并将处理后的结果输出至屏幕，接着读入下一行，整个文本的过程如流水线般被逐行处理 阅读全文

摘要： # hive的倾斜种类比较多，下面主要分析join 时，key倾斜的情况，其他案例后续再补充 1. 大表mapjoin 小表时key值中出现null，空字符特别多，其他普通key特别少时，就会出现单个reduce的运行缓慢，远远超出其他reduce 的运行时间，例如 select a.id,b.id 阅读全文

摘要： hadoop集群在启用了kerbose之后鉴权问题会变得很诡异，稍微有些条件不满足就会有异常，对kerbose一般都是敬而远之1，在一次测试环境部署集群客户端的时候， 因集群启用了kerbose，验证客户端发现 鉴权失败，日志如下 hdfs dfs -ls / 21/07/13 21:36:45 W 阅读全文

摘要： 在jolokia2 解析hbase jmx 指标时，因beans json列表 解析出的key ，value 时 ，不能自定义根据长key 解析出多个tag 和key，再后期的指标解析和读取时很不方便 比如 Namespace_testnamespace_table_tablexxxx_region 阅读全文

摘要： 因老婆工作需要创建一个动态图表，横坐标要能根据下拉框动态变化 1，先按照普通图表方式创建图表，应用相关数据， 2，先选择一个单元格创建下拉选项，这里选中C25 数据选项卡=》数据验证=》数据验证 允许那里选择序列 数据来源那里选择1月-12月的数据单元格范围 3，创建2个名称引用（一个用于横坐标月份 阅读全文

摘要： 在windows环境配置nginx 的时候出现启动失败，如下图，初步排查是出现443端口冲突 解决办法： 1，找到已绑定443端口的应用程序 win+r 快捷键启动cmd，输入如下命令 2，根据进程号，找到相关服务 截图中看到5080进程号已经绑定了443 端口，cmd 中继续找到相关服务 3，进入 阅读全文

摘要： telegraf (v1.5.2)虽然好用但是默认情况下并不能帮你收集好所有你需要的数据，比如io数据，默认情况下只收集了iotime, iops_in_process, weighted_io_time, read, write等相关数据，并不能收集到每个盘的iops, await, svctm, 阅读全文