Harda

摘要： 2019/01/21下午，业务侧反馈hive处理速度过慢，目前所有涉及hive的作业都很慢，影响这些业务不能在正常时间内完成 以下实例供参考，在生产环境中运行： 在Hive客户端执行select count(*) from tableName; table1中有20w数据，跑了30S出结果； tab 阅读全文

摘要： 问题描述: 使用hive时，drop表很慢，一张空表都需要90s左右 检查： 检查hive日志，无报错信息 检查主机资源消耗情况，正常无瓶颈 检查mysql日志，无错误提示 检查mysql慢日志（slow.log),发现在drop表时，会在元数据库中进行select,并且时间消耗接近于drop表的时 阅读全文

摘要： 问题描述： 部分mr任务提交较慢，跟踪日志发现，reduce的过程中，进度条还会倒退，如：已经reduce至80%，下一刻会慢慢下降79%，78%... 分析过程： 1、根据日志描述，任务不存在于缓存中 2、查看主机资源利用率情况 调nmon查看记录，异常时，主机资源利用率虽然偶尔出现较高的峰值，但 阅读全文

摘要： Region数据不一致是什么 一致性是指Region在meta中的meta表信息、在线Regionserver的Region信息和hdfs的Regioninfo的Region信息的一致。 HBCK检查什么 a.集群所有region都被assign，且被deploy到唯一一台regionserver上 阅读全文

摘要： 作用： 功能为在 alter 操作更改表结构的时候不用锁定表，也就是说执行 alter 的时候不会阻塞写和读取操作 常见参数： --alter 指定ALTER 语句，正常的ALTER TABLE TBNAME [ ADD | MODIFY | DROP | ALTER ] COLUMN COLUMN 阅读全文

摘要： 1.在查询的时候谨慎使用in 语句，如果达到百万级时采用exists 来替换in 如果是连续的1，2，3可以采用between and 进行替换 2.在进行模糊查询的时候要注意百分号开始时索引失效 3.当sql 中采用or 进行连接的时候会索引失效，我们如果真要使用就采用联合索引或者在连接的字段上都 阅读全文

摘要： mysql单机版安装： 1.下载mysql安装包： https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.25-linux-glibc2.12-x86_64.tar.gz 2.检查系统是否自带安装MySQL rpm -qa |grep mysql 阅读全文