Thinking in BigData

摘要： gz文件不需要解压即可进行相关操作 $ zcat test.log.gz $ zmore test.log.gz $ zless test.log.gz $ zgrep '1.2.3.4' test.log.gz $ egrep 'regex' test.log.gz 阅读全文

摘要： Logstash 6.6.2 官方：https://www.elastic.co/products/logstash 一 简介 Centralize, Transform & Stash Your Data Logstash is an open source, server-side data p 阅读全文

摘要： 有时需要修改很多jar（假设这些jar都位于lib目录）中其中一个jar中的某一个类，而且又没有原始代码或ide，这时最简单的方式是： 1 进入lib目录 # cd lib # ls test.jar dependency1.jar dependency2.jar 2 查看待修改jar包内类结构 $ 阅读全文

摘要： 应用一：kafka数据同步到kudu 1 准备kafka topic # bin/kafka-topics.sh --zookeeper $zk:2181/kafka -create --topic test_sync --partitions 2 --replication-factor 2 WA 阅读全文

摘要： 云主机cpu使用率突然很高 查看服务器发现异常 1 crontab # crontab -l* * * * * /tmp/.dns/y2kupdate >/dev/null 2>&1 2 iptables # iptables -nLChain INPUT (policy DROP)target p 阅读全文

摘要： hadoop.security.authentication: Kerberos -> Simple hadoop.security.authorization: true -> false dfs.datanode.address: -> from 1004 (for Kerberos) to 5 阅读全文

摘要： hdfs开启kerberos之后，namenode报错，连不上journalnode 2019-03-15 18:54:46,504 WARN org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as 阅读全文

摘要： mysql启动失败，一直crash，报错如下： 2019-03-14T11:15:12.937923Z 0 [Note] InnoDB: Uncompressed page, stored checksum in field1 1118110825, calculated checksums for 阅读全文

摘要： 有时服务器环境受限，比如在内网环境不能暴露端口从外网访问，用curl看html代码比较累，这时可以使用命令行浏览器来查看相关页面 links 官方：http://links.twibright.com/ Links is an open source text and graphic web bro 阅读全文

摘要： presto 0.217 官方：http://prestodb.github.io/ 一 简介 Presto is an open source distributed SQL query engine for running interactive analytic queries against 阅读全文