王大咩的图书馆

摘要： Flink系列博客，基于Flink1.6，打算分为三部分：原理、源码、实例以及API使用分析，后期等系列博客完成后再弄一个目录。 该系列博客是我自己学习过程中的一些理解，若有不正确、不准确的地方欢迎大伙留言分享。文中引用均已标注，若有侵权，请联系我，立马删除！ 1、前言 在讲Flink基本结构之前， 阅读全文

摘要： 自嘲 以前觉得阅读源码是多么牛掰的事，曾经也心动的想去看，于是就兴冲冲地去上网百度怎么看源码，没有找到适合自己的，也关键是自己没有坚持吧，然后就没有然后了（要是有捂脸表情包就好了，此处省略一百个！）。最近因工作需要，也开始看了。本文仅本人阅读源码过程对应该怎么看的一些想法，打算把自己看源码的方法方式 阅读全文

摘要： 本文仅是自己看书、学习过程中的个人总结，刚接触流式，视野面比较窄，不喜勿喷，欢迎评论交流。 1、为什么是流式？ 为什么是流式而不是流式系统这样的词语？流式系统在我的印象中是相对批处理系统而言的，用来处理流数据，实现数据处理功能的一个系统，而流式一词提醒我要以数据产生的方式去看待数据和以及处理过程，即 阅读全文

摘要： 仅个人实践所得，若是有误，欢迎指出。 一、场景 kafka集群中某一节点（N-10）的CPU利用率大于整个集群的平均水平，且达到报警值。使用top命令后台查看时发现是kafka服务导致CPU利用率高。在kafka界面查看topic，显示timeout ，使用以下命令查看集群中的topic发现cons 阅读全文

摘要： 仅个人实践中所遇到的问题，若有不对的，欢迎交流！ 一、场景描述 kafka集群中有几台突然挂了，后台日志显示设备空间满了，消息无法写入__consumer_offsets topic的分区中了。查看kafka数据目录下各个文件的大小，发现__consumer_offsets topic分区中有一个分 阅读全文

摘要： 仅个人实践所得，若有不正确的地方，欢迎交流！ 一、起因 执行以下两条基本的HDFS命令时报错 这是正常的两条HDFS命令，怎么会报错了？然后就打开hdfs命令查看问题。 二、分析 1）利用以下命令找到hdfs命令所在路径 使用vim hdfs打开脚本，发现当以hdfs dfs 执行时，会利用到HAD 阅读全文

摘要： 问题集仅为个人实践，若有不准确的，欢迎交流！ 一、现象： 集群有3台kafka服务器，而kafka 的9002界面上broker仅有2个；log.dirs配置路径为/data/kafka/data，而创建的topic数据都存放在默认路径下/tmp/kafka-logs。 二、分析过程 检查serve 阅读全文

摘要： 最近遇到一个hive权限的问题，先简单记录一下，目前自己的理解不一定对，后续根据自己的理解程度更新 一、hive用户的概念 hive本身没有创建用户的命令，hive的用户就是Linux用户，若当前是用mr用户输入hive，进入hive的shell，则当前hive的用户为mr。 hive本身不提供用户 阅读全文

摘要： 本文是我个人在连接服务器的HBASE过程的一些问题总结。 一、用户和主机名的设置 1.1 报错：Insufficient permissions(user=Administartor) 原因：本地hostname为Administrator，而HBASE表的用户没有这个用户，所以报错。 措施：设置电 阅读全文

摘要： 实践hplsql时，遇到的问题总结一下，若有不对的地方，欢迎交流。 一、Hplsql简介 hplsql的介绍详见：http://lxw1234.com/archives/2015/09/492.htm 二、hpsql的配置文件为hplsql-site.xml 2.1 常见的选项列表： 定义执行SQL 阅读全文

摘要： 1、判断一个文件的常见形式为 if [ -f filename ] #此处有-e和-f的区别 注意： 1）中括号之间的空格； 2）filename最好是绝对路径，在判断远程服务器中文件是否存在时尤为重要，因为集群之间有路径的变化。 2、链接远程服务器 写法为：if [ ssh root@${ip} 阅读全文

摘要： 一、选中多行： 使用命令vim打开文件，移动光标至所选行的开头，按v进入视图，键盘上按向下键，选中所需行即可。 二、复制与粘贴 三种方法： 1）在上文第一部分的基础上，按y，然后移动光标至所需粘贴处，按p即可 2）移动光标至所选行的开头，在命令模式下，输入nyy即可，n为从当前行开始，你所要复制的行 阅读全文

摘要： 刚入职，公司在用Git，前辈们推荐了这个网站，恩，看了一下，感觉挺好的，存下来，反复的对照学习。 Ref" https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000 https://www. 阅读全文

摘要： 目的：将wi主文件夹下的.bashrc复制到/tmp,并更名为bashrc。对于书上的代码上加“~”存在疑问。 cp ~/.bashrc /tmp/bashrc 对命令进行了以下尝试： 为什么不加“~”会出错，查书发现，“~”代表“目前用户身份”所在的主文件夹，不加“~”是带便是根目录，通过在ls 阅读全文

摘要： 一、加“/”的区别 今天重拾Linux的学习！按照书上，在tmp下，创建文件夹，命令如下： mkdir -p /test1/test2 结果使用下面两行命令结果不同，就对是否加“/”有了疑问，就去百度了。 网上说，cd test1和cd /test1应该是一样的。这样就更加疑惑了。通过查书和上网，发 阅读全文