摘要：
执行 sshpass 后 报错Host key verification failed. 参考https://blog.csdn.net/weixin_43978412/article/details/133790658 阅读全文
posted @ 2024-05-29 20:09
任重而道远的小蜗牛
阅读(95)
评论(0)
推荐(0)
摘要：
flink 看作业吞吐量 numRecordsInPerSecond 阅读全文
posted @ 2023-04-27 16:41
任重而道远的小蜗牛
阅读(32)
评论(0)
推荐(0)
摘要：
java.lang.IllegalArgumentException: Buffer size too small. size = 262144 needed = 2205991 报了这个错以后，具体的原因尚不清楚 有清楚的大老可以在评论区交流，我是把资源都调小了一些就可以了 最终的解决方案 这个问 阅读全文
posted @ 2022-06-22 20:14
任重而道远的小蜗牛
阅读(1692)
评论(0)
推荐(0)
摘要：
yarn.scheduler.maximum-allocation-mb 这个参数表示每个container能够申请到的最大内存，一般是集群统一配置。Spark中的executor进程是跑在container中，所以container的最大内存会直接影响到executor的最大可用内存 当你设置ex 阅读全文
posted @ 2021-07-21 10:16
任重而道远的小蜗牛
阅读(600)
评论(0)
推荐(0)
摘要：
背景： 由于规范。除了ods层其他层的存储格式要用orc。 在从ods层同步一个表到dw层，结果创表的时候因为没有注意到这个，就直接把ods层的表结构copy了过来，只改了一下路径和表名，然后就同步了数据，后边发现不符合规范，所以要改成orc格式的 操作步骤： drop原表重新创建 然后重新跑数据， 阅读全文
posted @ 2021-04-14 16:53
任重而道远的小蜗牛
阅读(2941)
评论(0)
推荐(0)
摘要：
jar -vtf spark-atlas-connector_2.11-0.1.0-SNAPSHOT.jar |grep SparkAtlasEventTracker 阅读全文
posted @ 2020-05-27 14:54
任重而道远的小蜗牛
阅读(332)
评论(0)
推荐(0)
摘要：
先查看一下自己是否有python3的内核 jupyter kernelspec list ##下图这种就是有的，如果你只有python2，那么就继续往下看 首先我们要先安装anaconda3 原因：之所以要安装这个anaconda3，是因为anaconda3会给我们提供一个虚拟环境，在这个虚拟环境中 阅读全文
posted @ 2020-05-08 19:05
任重而道远的小蜗牛
阅读(1665)
评论(0)
推荐(0)
摘要：
使用pip命令安装 把pip升级到最新版本 pip install --upgrade pip 注意：老版本的pip在安装Jupyter Notebook过程中或面临依赖项无法同步安装的问题。因此强烈建议先把pip升级到最新版本。 安装Jupyter Notebook pip install jup 阅读全文
posted @ 2020-05-08 18:27
任重而道远的小蜗牛
阅读(457)
评论(0)
推荐(0)
摘要：
今天在排查监crontab任务未生效问题时总结收获如下 不同的账户有不同的crontab系统如果在编辑crontab的时候遇到以下报错 [operadmin@bd-opsbi01 ~]$ crontab -e/bin/sh: /usr/bin/vi: Permission deniedcrontab 阅读全文
posted @ 2020-05-08 13:57
任重而道远的小蜗牛
阅读(355)
评论(0)
推荐(0)
摘要：
今天用shell写了一个钉钉告警，但是在通过发送信息的那一步，产生一个报错：{"errcode":40035,"errmsg":"缺少参数 json"}。下面是详细的shell脚本和报警信息 #!/bin/bash source ~/.bash_profile time=$(date "+%Y-%m 阅读全文
posted @ 2020-05-08 09:00
任重而道远的小蜗牛
阅读(9915)
评论(0)
推荐(0)
浙公网安备 33010602011771号