业余砖家

摘要： 一、minor和major的区别： Minor Compaction：指选取一些小的、相邻的HFile将他们合并成一个更大的HFile，但不会清理过期(TTL)和删除(打上Delete标记)的数据。 命令：compact 'tableName' Major Compaction：指将一个Store中 阅读全文

摘要： 1、将Hbase shell执行结果输出到文件 echo "scan 'test'" | hbase shell>my.txt 2、查看表的region数 list_regions 'test' 3、执行文件中的Hbase shell hbase shell my.txt 阅读全文

摘要： 问题描述 执行stop-hbase.sh时，等待很长时间都没结束（出来很多“...”） 解决办法： hbase-daemons.sh stop masterhbase-daemons.sh stop regionserver 阅读全文

摘要： 问题描述： 在trino中配置了mysql.properties文件，但是通过trino客户端，执行命令show schemas from mysql ;查看数据库信息时报错：Error listing schemas for catalog mysql: java.sql.SQLNonTransi 阅读全文

摘要： 在外部访问CentOS中部署应用时，需要通过防火墙管理软件,开端口,或者直接关闭防火墙进行解决(不建议) 常用命令：systemctl start firewalld #启动systemctl stop firewalld #停止systemctl status firewalld #查看状态sys 阅读全文

摘要： 一、什么是crontab?crontab 是有cron (crond) 这个系统服务来控制的，cron服务是linux的内置服务，类似于window下的计划任务，但它不会开机自动启动 二、如何使用？crontab -l //查看当前用户的crontabcrontab -e //编辑crontabcr 阅读全文

摘要： 说明 在阿里云服务器上发现挖矿程序，大概率是因为在安全组上开启了某些端口导致。黑客利用某些端口的漏洞，上传了挖矿程序，并设置了定时任务。 对于在一个安全组内的服务器，网络内部是互通的。如果发现某些服务出现：Connection refused（连接拒绝）这样的报错，可以开启防火墙，然后开通拒绝的端口 阅读全文

摘要： 问题描述 在阿里云服务器上安装的Hadoop和Hive，刚开始关闭了防火墙。但是由于服务器被被黑客安装挖矿程序，所以开启了防火墙。但是即使开启了所有可能的端口，但是在向Hive中插入数据时，依然报错提示：Call From hadoop01/172.23.238.2 to hadoop01:1002 阅读全文

摘要： 前言 最近我们团队为了研究数据湖相关的技术，在阿里云服务中购买了云服务器，但是突然被告警提示被挖矿，而且要在一定期限内解决挖矿问题，否则就会被关停服务。 本篇记录了我们处理挖矿告警的过程，仅供参考。 一、服务器为什么会被告警挖矿？ 云服务器中被恶意安装了脚本，然后脚本运行占用了大量的cpu 和内存， 阅读全文

摘要： （1）HBase和Hadoop、zookeeper、JDK兼容版本 参考网址： https://hbase.apache.org/book.html 1）JDK和Hbase的兼容版本 对于JDK，最好还是选择JDK1.8。 2）HBase和Hadoop的兼容版本 3）HBase和Zookeeper兼 阅读全文