业余砖家

摘要： 一、什么是crontab?crontab 是有cron (crond) 这个系统服务来控制的，cron服务是linux的内置服务，类似于window下的计划任务，但它不会开机自动启动 二、如何使用？crontab -l //查看当前用户的crontabcrontab -e //编辑crontabcr 阅读全文

摘要： 说明 在阿里云服务器上发现挖矿程序，大概率是因为在安全组上开启了某些端口导致。黑客利用某些端口的漏洞，上传了挖矿程序，并设置了定时任务。 对于在一个安全组内的服务器，网络内部是互通的。如果发现某些服务出现：Connection refused（连接拒绝）这样的报错，可以开启防火墙，然后开通拒绝的端口 阅读全文

摘要： 问题描述 在阿里云服务器上安装的Hadoop和Hive，刚开始关闭了防火墙。但是由于服务器被被黑客安装挖矿程序，所以开启了防火墙。但是即使开启了所有可能的端口，但是在向Hive中插入数据时，依然报错提示：Call From hadoop01/172.23.238.2 to hadoop01:1002 阅读全文

摘要： 前言 最近我们团队为了研究数据湖相关的技术，在阿里云服务中购买了云服务器，但是突然被告警提示被挖矿，而且要在一定期限内解决挖矿问题，否则就会被关停服务。 本篇记录了我们处理挖矿告警的过程，仅供参考。 一、服务器为什么会被告警挖矿？ 云服务器中被恶意安装了脚本，然后脚本运行占用了大量的cpu 和内存， 阅读全文

摘要： （1）HBase和Hadoop、zookeeper、JDK兼容版本 参考网址： https://hbase.apache.org/book.html 1）JDK和Hbase的兼容版本 对于JDK，最好还是选择JDK1.8。 2）HBase和Hadoop的兼容版本 3）HBase和Zookeeper兼 阅读全文

摘要： 1. Hadoop (1).HDFS：启动HDFS：start-dfs.sh关闭HDFS：stop-dfs.sh格式化NameNode：hdfs namenode -format查看文件系统状态：hdfs dfsadmin -report创建目录：hdfs dfs -mkdir /path/to/d 阅读全文

摘要： Flink CDC写入kafka几种常见的数据格式，其中包括upsert-kafka写入后正常的json格式，debezium-json格式以及changelog-json格式。 upsert-kafka 正常json数据格式 -- insert 操作:{"name":"魏夜游","remark": 阅读全文

摘要： 问题描述 Caused by: org.postgresql.util.PSQLException: 错误: 无法访问文件 "decoderbufs": 没有那个文件或目录 解决办法 postgres-cdc的属性缺少如下配置： 'slot.name' = 'myslot','decoding.pl 阅读全文

摘要： 问题描述 通过./bin/start-cluster.sh启动Flink程序，正常启动后无法通过浏览器访问web UI界面，http://192.168.80.133:8081。 问题原因 Flink1.12之前启动Flink程序后，可以正常打开WebUI界面，换成新的版本后Flink1.15、Fl 阅读全文

摘要： (1) Hadoop Web UI http://master-1:9870/dfshealth.html#tab-overview 旧版本的端口可能为：50070 http://master-1:50070/dfshealth.html#tab-overview 如果不知道端口，可以查看hdfs- 阅读全文