摘要：
flink 看作业吞吐量 numRecordsInPerSecond 阅读全文
摘要：
java.lang.IllegalArgumentException: Buffer size too small. size = 262144 needed = 2205991 报了这个错以后，具体的原因尚不清楚 有清楚的大老可以在评论区交流，我是把资源都调小了一些就可以了 最终的解决方案 这个问 阅读全文
摘要：
yarn.scheduler.maximum-allocation-mb 这个参数表示每个container能够申请到的最大内存，一般是集群统一配置。Spark中的executor进程是跑在container中，所以container的最大内存会直接影响到executor的最大可用内存 当你设置ex 阅读全文
摘要：
背景： 由于规范。除了ods层其他层的存储格式要用orc。 在从ods层同步一个表到dw层，结果创表的时候因为没有注意到这个，就直接把ods层的表结构copy了过来，只改了一下路径和表名，然后就同步了数据，后边发现不符合规范，所以要改成orc格式的 操作步骤： drop原表重新创建 然后重新跑数据， 阅读全文
摘要：
jar -vtf spark-atlas-connector_2.11-0.1.0-SNAPSHOT.jar |grep SparkAtlasEventTracker 阅读全文
摘要：
先查看一下自己是否有python3的内核 jupyter kernelspec list ##下图这种就是有的，如果你只有python2，那么就继续往下看 首先我们要先安装anaconda3 原因：之所以要安装这个anaconda3，是因为anaconda3会给我们提供一个虚拟环境，在这个虚拟环境中 阅读全文
摘要：
使用pip命令安装 把pip升级到最新版本 pip install --upgrade pip 注意：老版本的pip在安装Jupyter Notebook过程中或面临依赖项无法同步安装的问题。因此强烈建议先把pip升级到最新版本。 安装Jupyter Notebook pip install jup 阅读全文
摘要：
今天在排查监crontab任务未生效问题时总结收获如下 不同的账户有不同的crontab系统如果在编辑crontab的时候遇到以下报错 [operadmin@bd-opsbi01 ~]$ crontab -e/bin/sh: /usr/bin/vi: Permission deniedcrontab 阅读全文
摘要：
今天用shell写了一个钉钉告警，但是在通过发送信息的那一步，产生一个报错：{"errcode":40035,"errmsg":"缺少参数 json"}。下面是详细的shell脚本和报警信息 #!/bin/bash source ~/.bash_profile time=$(date "+%Y-%m 阅读全文
摘要：
1.新建一个java项目 在pom文件中添加依赖，可参考下列pom文件 创建以下代码文件 ②:添加clickhouse Connector 在resource下新建META-INF/services 目录,在此目录下新建com.facebook.presto.spi.Plugin文件,在文件中添加c 阅读全文