随笔分类 -  BigData

上一页 1 2 3 4 5 6 ··· 11 下一页
大叔问题定位分享（44）kafka服务重启
摘要：背景 kafka部分进程重启，报错如下： java.io.IOException: Too many open files at sun.nio.ch.ServerSocketChannelImpl.accept(ServerSocketChannelImpl.java:422) at sun.ni 阅读全文
posted @ 2022-05-19 14:41 匠人先生 阅读(728) 评论(0) 推荐(0)
大叔问题定位分享（43）hbase大面积重启
摘要：现象 hbase的region server进程大面积重启 排查 第一个重启的region server节点有如下报错： 2021-12-03 14:44:11,948 WARN org.apache.hadoop.hdfs.DFSClient: Failed to connect to /$ser 阅读全文
posted @ 2022-05-19 14:15 匠人先生 阅读(1224) 评论(0) 推荐(0)
大叔问题定位分享（42）yarn被利用提交get-shell任务挖矿
摘要：背景 某天开始集群网络带宽被占满 登录出问题的节点，通过iftop发现有大量出网方向的流量 hadoop-* ⇒ c-73-29-172-82.hsd1.nj.comcast.net 422Mb 433Mb 236Mb ⇐ 0b 0b 0b hadoop-* ⇒ cpe-75-187-235-200 阅读全文
posted @ 2022-05-19 10:57 匠人先生 阅读(373) 评论(0) 推荐(0)
大叔问题定位分享（41）logstash消费kafka延迟
摘要：背景 logstash集群，每个节点服务器配置和任务配置相同，但是其中一个节点发生比较大的消费延迟 定位 观察发现出问题的节点负载比其他节点要低很多，进一步对比logstash进程内线程的情况，发现出问题的节点只有4个worker进程，而正常节点有16个worker进程 进一步排查发现问题节点的lo 阅读全文
posted @ 2022-05-18 17:47 匠人先生 阅读(478) 评论(0) 推荐(0)
大数据基础之Hadoop（4）hdfs回收站
摘要：配置 配置1 fs.trash.interval=1440 被删除的文件会进入回收站，默认保留1440分钟后完全删除 配置2 fs.trash.checkpoint.interval=60 回收站checkpoint机制：进入回收站的文件首先进入Current目录，然后定期移动到一个时间戳目录，定期 阅读全文
posted @ 2022-04-06 19:38 匠人先生 阅读(526) 评论(0) 推荐(0)
大数据基础之Hadoop（3）hdfs diskbalancer
摘要：hdfs单个节点内多个磁盘不均衡时（比如新加磁盘），需要手工进行diskbalancer操作，命令如下 # hdfs diskbalancer -help plan usage: hdfs diskbalancer -plan <hostname> [options] Creates a plan 阅读全文
posted @ 2021-09-04 11:31 匠人先生 阅读(616) 评论(0) 推荐(0)
大叔问题定位分享（40）kafka reassign卡住
摘要：kafka reassign过程详见：reassign过程 最近kafka集群发生reassign过程卡住的情况，问题发生过程如下 问题日志 2021-07-16 10:35:41,193 INFO kafka.controller.KafkaController: [Controller id=3 阅读全文
posted @ 2021-07-17 23:14 匠人先生 阅读(966) 评论(0) 推荐(0)
大数据基础之Kafka（2）reassign过程
摘要：reassign过程 选择每个partition的各个replica分布到哪个broker 每个partition的第一个replica随机选择一个broker 除第一个replica之外其他的replicas会加一个随机shift之后顺序选择n-1个broker 选择这个broker中多个log_ 阅读全文
posted @ 2021-07-17 22:55 匠人先生 阅读(1039) 评论(0) 推荐(0)
大数据基础之Doris（1）编译安装和启动
摘要：一 编译 doris编译有两种方式，一种是docker编译，一种是直接裸机编译，推荐使用docker编译，可以避免大量的环境依赖问题 docker编译 1 安装docker yum install docker systemctl start docker systemctl enable dock 阅读全文
posted @ 2021-05-25 13:04 匠人先生 阅读(3409) 评论(1) 推荐(0)
大叔经验分享（101）marathon反复重启
摘要：marathon反复重启 # systemctl status marathon ● marathon.service - Marathon Loaded: loaded (/usr/lib/systemd/system/marathon.service; enabled; vendor prese 阅读全文
posted @ 2020-01-11 16:34 匠人先生 阅读(714) 评论(0) 推荐(0)
大叔经验分享（100）Atlas导入hive元数据
摘要：首先要有HIVE_HOME环境变量， 如果是apache，直接配置为解压目录；如果是CDH，设置如下： # export HIVE_HOME=/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/lib/hive 执行导入 # bin/import-hi 阅读全文
posted @ 2020-01-11 16:27 匠人先生 阅读(5845) 评论(1) 推荐(0)
大叔经验分享（99）Atlas简介、安装
摘要：官方：http://atlas.apache.org/ 一 简介 元数据管理：数据分类、数据血缘、数据治理 Atlas is a scalable and extensible set of core foundational governance services – enabling enter 阅读全文
posted @ 2020-01-11 14:32 匠人先生 阅读(1554) 评论(0) 推荐(1)
大叔经验分享（86）hive和mysql数据互导
摘要：hive和mysql数据互导，首先想到的是sqoop，并且可以和调度框架（比如oozie等）配合配置定时任务，还有一种更简单的方式是通过spark-sql： CREATE OR REPLACE TEMPORARY VIEW tmp_tbl_test USING org.apache.spark.sq 阅读全文
posted @ 2019-10-10 11:43 匠人先生 阅读(626) 评论(0) 推荐(0)
大叔经验分享（84）spark sql中设置hive.exec.max.dynamic.partitions无效
摘要：spark 2.4 spark sql中执行 set hive.exec.max.dynamic.partitions=10000; 后再执行sql依然会报错： org.apache.hadoop.hive.ql.metadata.HiveException: Number of dynamic p 阅读全文
posted @ 2019-10-03 00:33 匠人先生 阅读(7502) 评论(0) 推荐(1)
大叔经验分享（83）impala执行多个select distinct
摘要：impala在一个select中执行多个count distinct时会报错，比如执行 select key, count(distinct column_a), count(distinct column_b) from test_table group by key 会报错 Query subm 阅读全文
posted @ 2019-09-28 01:13 匠人先生 阅读(5020) 评论(0) 推荐(0)
大叔经验分享（82）logstash一个实例运行多个配置文件
摘要：logstash一个实例运行多个配置文件，将所有配置文件放到以下目录即可 /usr/share/logstash/pipeline 但是默认行为不是每个配置文件独立运行，而是作为一个整体，每个input会匹配所有的filter，然后匹配所有的output，可能会导致数据被错误的处理以及发送到错误的地 阅读全文
posted @ 2019-09-22 11:04 匠人先生 阅读(2394) 评论(0) 推荐(0)
大叔经验分享（81）marathon上app无法重启
摘要：通过api调用marathon重启app后出现deployment，但是app不会重启，配置如下： "constraints": [ [ "hostname", "UNIQUE" ], [ "hostname", "LIKE", "HOST-00[12]" ] ] 指定app只能在2个服务器上启动， 阅读全文
posted @ 2019-09-22 10:43 匠人先生 阅读(416) 评论(0) 推荐(0)
大叔经验分享（78）hive查询报错NoViableAltException
摘要：Hive或spark中执行sql字符常量包含;时会报错，比如 select instr('abc;abc', ';'); 报错 NoViableAltException(-1@[147:1: selectExpression : ( expression | tableAllColumns );]) 阅读全文
posted @ 2019-07-30 20:10 匠人先生 阅读(6326) 评论(0) 推荐(0)
大叔问题定位分享（33）oozie提交任务报错ArithmeticException: / by zero
摘要：oozie提交workflow后执行task报错： 2019-07-04 17:19:00,559 ERROR [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: ERROR I 阅读全文
posted @ 2019-07-05 22:31 匠人先生 阅读(1018) 评论(0) 推荐(0)
大数据基础之Oozie（4）oozie使用的spark版本升级
摘要：oozie默认使用的spark是1.6，一直没有升级，如果想用最新的2.4，需要自己手工升级 首先看当前使用的spark版本的jar # oozie admin -oozie http://$oozie_server:11000/oozie -shareliblist # oozie admin - 阅读全文
posted @ 2019-07-04 15:01 匠人先生 阅读(783) 评论(0) 推荐(0)

上一页 1 2 3 4 5 6 ··· 11 下一页