超级无敌小剑

摘要： 1.时区问题 2.MysqlSource并行度问题 阅读全文

摘要： 环境: Flink 1.13.6和Flink 1.14.4 1.yarn-session模式 --启动yarn seeion bin/yarn-session.sh \ -s 8 \ -jm 4g \ -tm 16g \ -nm yarn-session-flink \ -d yarn-sessio 阅读全文

摘要： 环境 Hadoop集群是Ambari2.7.5的版本 Flink是1.13.6_2.12的版本 问题记录 1.缺少jar包 报错：ERROR org.apache.flink.yarn.cli.FlinkYarnSessionCli [] - Error while running the Flin 阅读全文

摘要： 一般来说读取Mysql的binlog的时候通过 startupOptions(StartupOptions.specificOffset("mysql-bin.000003", 4L) // 从指定 binlog 文件名和位置启动就足够了,但是对于Mysql设置了主从库或者是说业务库发生故障,切从库 阅读全文

摘要： 环境: Pyhton 2.7.5 Airflow 1.10.1 Dag代码如下: # -*- coding: utf-8 -*- from airflow import DAG from airflow.operators.bash_operator import BashOperator from 阅读全文

摘要： nohup /root/runoob.sh > runoob.log 2>&1 & 阅读全文

摘要： ambari2.7.5 兼容 HDP的版本: 2.7.4 兼容 HDP3.1.42.7.5 兼容 HDP3.1.5 部分兼容HDP3.1.4 仅用于升级 partianlly compatible for upgreade only HDP3.1.5的资源:链接：https://pan.baidu. 阅读全文

摘要： 通过zk连接hive需要 Connecting to jdbc:hive2://tianhumaster:2181,tianhuslave1:2181,tianhuslave2:2181/default;password=isi;serviceDiscoveryMode=zooKeeper;user 阅读全文

摘要： 卸载ambari2.7.4 1.停止服务 ambari-server stop ambari-agent stop 2.卸载yum插件 通过这个命令搞出来命令 复制到脚本里去执行 yum list |egrep 'hadoop|@HDP|HDP|zookeeper|bigtop|atlas-meta 阅读全文

摘要： hive库默认的存储格式是 orc 格式 ,使用datax将mysql的数据导出到hdfs上时候,遇到hive无法读取的问题. #hive提供了一个--orcfiledump参数用于查看HDFS上ORC表格的文件信息 hive --orcfiledump #解析 orc 格式 为 json 格式 写 阅读全文