会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
王大咩的图书馆
加油,王同学!!!啦啦啦啦
博客园
首页
新随笔
联系
管理
上一页
1
2
3
4
5
6
7
···
19
下一页
2019年7月25日
Flink原理(一)——基础架构
摘要: Flink系列博客,基于Flink1.6,打算分为三部分:原理、源码、实例以及API使用分析,后期等系列博客完成后再弄一个目录。 该系列博客是我自己学习过程中的一些理解,若有不正确、不准确的地方欢迎大伙留言分享。文中引用均已标注,若有侵权,请联系我,立马删除! 1、前言 在讲Flink基本结构之前,
阅读全文
posted @ 2019-07-25 00:44 王大咩的图书馆
阅读(2389)
评论(0)
推荐(0)
2019年7月12日
阅读大数据组件源码的进化之路
摘要: 自嘲 以前觉得阅读源码是多么牛掰的事,曾经也心动的想去看,于是就兴冲冲地去上网百度怎么看源码,没有找到适合自己的,也关键是自己没有坚持吧,然后就没有然后了(要是有捂脸表情包就好了,此处省略一百个!)。最近因工作需要,也开始看了。本文仅本人阅读源码过程对应该怎么看的一些想法,打算把自己看源码的方法方式
阅读全文
posted @ 2019-07-12 23:33 王大咩的图书馆
阅读(698)
评论(0)
推荐(0)
2019年7月2日
Flink系列之流式
摘要: 本文仅是自己看书、学习过程中的个人总结,刚接触流式,视野面比较窄,不喜勿喷,欢迎评论交流。 1、为什么是流式? 为什么是流式而不是流式系统这样的词语?流式系统在我的印象中是相对批处理系统而言的,用来处理流数据,实现数据处理功能的一个系统,而流式一词提醒我要以数据产生的方式去看待数据和以及处理过程,即
阅读全文
posted @ 2019-07-02 23:47 王大咩的图书馆
阅读(617)
评论(0)
推荐(0)
2019年3月4日
kafka问题集(三)ISR缺失
摘要: 仅个人实践所得,若是有误,欢迎指出。 一、场景 kafka集群中某一节点(N-10)的CPU利用率大于整个集群的平均水平,且达到报警值。使用top命令后台查看时发现是kafka服务导致CPU利用率高。在kafka界面查看topic,显示timeout ,使用以下命令查看集群中的topic发现cons
阅读全文
posted @ 2019-03-04 21:48 王大咩的图书馆
阅读(4539)
评论(0)
推荐(0)
2019年2月1日
kafka问题集(二):__consumer_offsets topic的分区中有一个分区数据很多,多达1T
摘要: 仅个人实践中所遇到的问题,若有不对的,欢迎交流! 一、场景描述 kafka集群中有几台突然挂了,后台日志显示设备空间满了,消息无法写入__consumer_offsets topic的分区中了。查看kafka数据目录下各个文件的大小,发现__consumer_offsets topic分区中有一个分
阅读全文
posted @ 2019-02-01 22:22 王大咩的图书馆
阅读(3587)
评论(0)
推荐(2)
2019年1月30日
HDFS问题集(一),使用命令报错:com.google.protobuf.ServiceException:java.lang.OutOfMemoryError:java heap space
摘要: 仅个人实践所得,若有不正确的地方,欢迎交流! 一、起因 执行以下两条基本的HDFS命令时报错 这是正常的两条HDFS命令,怎么会报错了?然后就打开hdfs命令查看问题。 二、分析 1)利用以下命令找到hdfs命令所在路径 使用vim hdfs打开脚本,发现当以hdfs dfs 执行时,会利用到HAD
阅读全文
posted @ 2019-01-30 21:00 王大咩的图书馆
阅读(2504)
评论(0)
推荐(0)
2019年1月8日
kafka问题集(一):broker少于kafka节点数
摘要: 问题集仅为个人实践,若有不准确的,欢迎交流! 一、现象: 集群有3台kafka服务器,而kafka 的9002界面上broker仅有2个;log.dirs配置路径为/data/kafka/data,而创建的topic数据都存放在默认路径下/tmp/kafka-logs。 二、分析过程 检查serve
阅读全文
posted @ 2019-01-08 21:06 王大咩的图书馆
阅读(2565)
评论(0)
推荐(0)
2018年12月10日
Hive权限管理
摘要: 最近遇到一个hive权限的问题,先简单记录一下,目前自己的理解不一定对,后续根据自己的理解程度更新 一、hive用户的概念 hive本身没有创建用户的命令,hive的用户就是Linux用户,若当前是用mr用户输入hive,进入hive的shell,则当前hive的用户为mr。 hive本身不提供用户
阅读全文
posted @ 2018-12-10 23:31 王大咩的图书馆
阅读(4853)
评论(0)
推荐(0)
2018年11月15日
使用Java连接HBASE过程中问题总结
摘要: 本文是我个人在连接服务器的HBASE过程的一些问题总结。 一、用户和主机名的设置 1.1 报错:Insufficient permissions(user=Administartor) 原因:本地hostname为Administrator,而HBASE表的用户没有这个用户,所以报错。 措施:设置电
阅读全文
posted @ 2018-11-15 22:28 王大咩的图书馆
阅读(4833)
评论(0)
推荐(0)
2018年11月12日
Hplsql报错:...HiveSQLExpection:Error while compiling statement:No privilege 'Select' found for inputs {.....}
摘要: 实践hplsql时,遇到的问题总结一下,若有不对的地方,欢迎交流。 一、Hplsql简介 hplsql的介绍详见:http://lxw1234.com/archives/2015/09/492.htm 二、hpsql的配置文件为hplsql-site.xml 2.1 常见的选项列表: 定义执行SQL
阅读全文
posted @ 2018-11-12 23:22 王大咩的图书馆
阅读(3051)
评论(0)
推荐(0)
2018年10月30日
【Linux】shell实践(一)---判断远程服务器中文件是否存在
摘要: 1、判断一个文件的常见形式为 if [ -f filename ] #此处有-e和-f的区别 注意: 1)中括号之间的空格; 2)filename最好是绝对路径,在判断远程服务器中文件是否存在时尤为重要,因为集群之间有路径的变化。 2、链接远程服务器 写法为:if [ ssh root@${ip}
阅读全文
posted @ 2018-10-30 21:58 王大咩的图书馆
阅读(7690)
评论(1)
推荐(0)
2018年8月14日
Linux使用技巧(一):vim中选中多行、复制和粘贴
摘要: 一、选中多行: 使用命令vim打开文件,移动光标至所选行的开头,按v进入视图,键盘上按向下键,选中所需行即可。 二、复制与粘贴 三种方法: 1)在上文第一部分的基础上,按y,然后移动光标至所需粘贴处,按p即可 2)移动光标至所选行的开头,在命令模式下,输入nyy即可,n为从当前行开始,你所要复制的行
阅读全文
posted @ 2018-08-14 23:13 王大咩的图书馆
阅读(20967)
评论(0)
推荐(0)
2018年7月15日
Git——学习Git
摘要: 刚入职,公司在用Git,前辈们推荐了这个网站,恩,看了一下,感觉挺好的,存下来,反复的对照学习。 Ref" https://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000 https://www.
阅读全文
posted @ 2018-07-15 23:07 王大咩的图书馆
阅读(218)
评论(0)
推荐(0)
2018年6月25日
【Linux】Linux下cp ~中关于“~”的疑问
摘要: 目的:将wi主文件夹下的.bashrc复制到/tmp,并更名为bashrc。对于书上的代码上加“~”存在疑问。 cp ~/.bashrc /tmp/bashrc 对命令进行了以下尝试: 为什么不加“~”会出错,查书发现,“~”代表“目前用户身份”所在的主文件夹,不加“~”是带便是根目录,通过在ls
阅读全文
posted @ 2018-06-25 15:17 王大咩的图书馆
阅读(288)
评论(0)
推荐(0)
2018年6月24日
【Linux】Linux中cd test和cd /test以及类似命令的区别
摘要: 一、加“/”的区别 今天重拾Linux的学习!按照书上,在tmp下,创建文件夹,命令如下: mkdir -p /test1/test2 结果使用下面两行命令结果不同,就对是否加“/”有了疑问,就去百度了。 网上说,cd test1和cd /test1应该是一样的。这样就更加疑惑了。通过查书和上网,发
阅读全文
posted @ 2018-06-24 16:47 王大咩的图书馆
阅读(2036)
评论(0)
推荐(0)
上一页
1
2
3
4
5
6
7
···
19
下一页
公告