Questions张

2020年10月27日

Spark Streaming消费kafka消息一次性积压太多内存溢出，调整消费批次参数控制

摘要： 1 增加参数来控制消费次数，根据情况选择合适的参数即可，我这里修改为了10000. 不设置的话，默认是拉取全部的数据，有可能引起内存溢出或者任务失败等问题。 .config("spark.streaming.kafka.maxRatePerPartition", 10000) 阅读全文

posted @ 2020-10-27 16:23 Questions张阅读(1409) 评论(0) 推荐(0)

cdh因为无法恢复yarn任务导致yarn ResourceManager无法重启

摘要： 1 因为内存溢出问题导致yarn ResourceManager无法启动，多次重启仍然失败 2 查询到原因是因为重启rm的时候，会尝试恢复之前所有的yarn任务，但是之前内存溢出的原因就是因为yarn任务的内存压力过大导致。所以不断重启也没用。 3 解决方案,进入zookeeper控制台，找到保存y 阅读全文

posted @ 2020-10-27 15:18 Questions张阅读(1544) 评论(0) 推荐(0)

2020年7月20日

微信公众号分享接口报错 "errMsg": "config:invalid url domain"

摘要： 1 请在对应的公众号后台，配置js安全域名，添加你调用的域名阅读全文

posted @ 2020-07-20 11:43 Questions张阅读(1482) 评论(0) 推荐(0)

2020年7月18日

vi以及vim打开文件中文乱码

摘要： vi ~/.vimrc文件添加下面内容 set fileencodings=utf-8,gb2312,gb18030,gbk,ucs-bom,cp936,latin1 set enc=utf8 set fencs=utf8,gbk,gb2312,gb18030 阅读全文

posted @ 2020-07-18 12:59 Questions张阅读(522) 评论(0) 推荐(0)

2020年6月28日

CDH组件日志路径

摘要： 1 各个进程的日志在下面目录下面，自己可以进去之后再仔细找 /run/cloudera-scm-agent/process 阅读全文

posted @ 2020-06-28 10:35 Questions张阅读(758) 评论(0) 推荐(0)

regionserver意外与master节点失去通信失联

摘要： 1 经过排查凌晨12点多的时候，因为GC时间太长导致，需要增加内存配置，可以解决问题。由于目前机器负载已经够高了，只能等待升级配置后再调整。暂时只能通过重启节点解决。目前有8台regionserver。单台失联不影响整体应用。临时调大了regionserver的内存配置，终极解决方案，还是需要阅读全文

posted @ 2020-06-28 10:30 Questions张阅读(273) 评论(0) 推荐(0)

2020年6月1日

【异常】MySQL建表报错:You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '"order"' at line 1

摘要： 1 错误信息 You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '"order"' 阅读全文

posted @ 2020-06-01 07:22 Questions张阅读(2587) 评论(0) 推荐(0)

【警告】mysql链接警告信息:Establishing SSL connection without server's identity verification is not recommended

摘要： 1 完整信息 Mon Jun 01 06:46:21 CST 2020 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5. 阅读全文

posted @ 2020-06-01 06:52 Questions张阅读(304) 评论(0) 推荐(0)

【异常】git pull报错fatal: refusing to merge unrelated histories

摘要：加一下参数，告诉git这个pull的仓库地址是正确的，允许无关的历史（因为本地分支与远程分支没有共同的提交历史） git pull --allow-unrelated-histories 阅读全文

posted @ 2020-06-01 06:31 Questions张阅读(180) 评论(0) 推荐(0)

【异常】Spark提交到yarn报错:java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds]

摘要： 1 详细异常 java.util.concurrent.TimeoutException: Futures timed out after [100000 milliseconds] at scala.concurrent.impl.Promise$DefaultPromise.ready(Prom 阅读全文

posted @ 2020-06-01 06:29 Questions张阅读(2505) 评论(0) 推荐(0)

公告