Thinking in BigData

摘要： ssh登录linux服务器的时候，经常会有提示 There were * failed login attempts since the last successful login. 说明有大量的非法登录尝试，有几种应对方法 1 换一个sshd端口 不过也经常会被扫到 2 禁止root账号直接ssh 阅读全文

摘要： m1版本的mac,使用mac os 11 Big sur启动idea正常,但是mac os 12 Monterey启动失败,提示 idea意外退出,点按“重新打开”以再次打开应用程序 idea quit unexpectedly, Click Reopen to open the applicati 阅读全文

摘要： hdfs单个节点内多个磁盘不均衡时（比如新加磁盘），需要手工进行diskbalancer操作，命令如下 # hdfs diskbalancer -help plan usage: hdfs diskbalancer -plan <hostname> [options] Creates a plan 阅读全文

摘要： 简介 Supervisor is a client/server system that allows its users to monitor and control a number of processes on UNIX-like operating systems. 官网：http://s 阅读全文

摘要： git pull时如果经常遇到以下错误： Encountered end of file fatal: The remote end hung up unexpectedly 由于网络条件不佳，可以换网，或者可以尝试增加配置 git config --global http.lowSpeedLimi 阅读全文

摘要： docker容器访问hdfs报错UnknownHostException，报错信息如下： java.lang.RuntimeException: java.net.UnknownHostException: Invalid host name: local host is: (unknown); d 阅读全文

摘要： frp 简介 frp is a fast reverse proxy to help you expose a local server behind a NAT or firewall to the Internet. As of now, it supports TCP and UDP, as 阅读全文

摘要： kafka reassign过程详见：reassign过程 最近kafka集群发生reassign过程卡住的情况，问题发生过程如下 问题日志 2021-07-16 10:35:41,193 INFO kafka.controller.KafkaController: [Controller id=3 阅读全文

摘要： reassign过程 选择每个partition的各个replica分布到哪个broker 每个partition的第一个replica随机选择一个broker 除第一个replica之外其他的replicas会加一个随机shift之后顺序选择n-1个broker 选择这个broker中多个log_ 阅读全文

摘要： azkaban 3.80.1 现象 azkaban集群中的节点每隔几个月会出现一次fullgc 排查 1 jmap -histo 发现有大量的log4j对象和Hashtable对象，以下为大于1M的对象 num #instances #bytes Class description 1: 10681 阅读全文