摘要：
什么是ELK？ 通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 、filebeat三个开源软件的组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK 又称为ELK stack，官方域名为stactic.co，ELK stack的主要优点有如下几个： 处 阅读全文
posted @ 2019-06-18 10:11
信方
阅读(299)
评论(0)
推荐(0)
摘要：
1. 安装依赖yum -y install libcurl-devel libxml2-devel net-snmp net-snmp-devel2. 安装 nginxyum -y install nginx（找到配置文件，配置好端口，添加到自启动服务chkconfignginx on nginx 阅读全文
posted @ 2019-06-11 15:40
信方
阅读(309)
评论(0)
推荐(0)
摘要：
1.启动集群 bin/start-cluster.sh 2.jps查看进程 3.打开网页端（192.168.66.128:8081） 4.造数据：nc -lk 9000 5.执行./bin/flink run examples/streaming/SocketWindowWordCount.jar 阅读全文
posted @ 2019-06-11 14:36
信方
阅读(377)
评论(0)
推荐(0)
摘要：
1.1作业某个任务阻塞了，长时间占用资源不释放 1.2在MapTask任务运行完毕，ReduceTask运行过程中，某个MapTask节点挂了，或者某个MapTask结果存放的那磁盘坏掉了 在TaskTracker，每个任务会定期向TaskTracker汇报进度，如果进度不变则不汇报，这样一旦达到超 阅读全文
posted @ 2019-06-09 19:43
信方
阅读(1750)
评论(0)
推荐(0)
摘要：
[Flink]Flink三种运行模式安装部署以及实现WordCount 前言 Flink三种运行方式：Local、Standalone、On Yarn。成功部署后分别用Scala和Java实现wordcount 环境 版本：Flink 1.6.2集群环境：Hadoop2.6开发工具: Intelli 阅读全文
posted @ 2019-05-04 18:24
信方
阅读(3066)
评论(0)
推荐(0)
摘要：
1.hdfs目录配额 #设置配额目录hdfs dfsadmin -setSpaceQuota 10T /user/hive/warehouser/tmp查看配额目录信息hdfs dfs -count -q -h /user/hive/warehouser/tmp#清除配额目录信息hdfs dfsad 阅读全文
posted @ 2019-04-29 10:36
信方
阅读(432)
评论(0)
推荐(0)
摘要：
1.Alt +P 进入sftp会话 2.pwd显示linux目录 lpwd显示windows目录 3.lcd切换windows目录 cd切换linux目录 4.put上传 5.get下载 6.help帮助 阅读全文
posted @ 2019-04-29 10:11
信方
阅读(2692)
评论(0)
推荐(0)
摘要：
jmap -heap pid 查看gc情况： jstat -gc PID 刷新频率 jstat -gc 12538 5000 导出堆内存dump 文件： jmap -dump:file=文件名.bin [pid] 导出线程dump文件 jstack 12377 > stack.log jstack 阅读全文
posted @ 2019-04-29 10:10
信方
阅读(496)
评论(0)
推荐(0)
摘要：
namenode机器磁盘IO负载持续承压，造成NAMENODE切换多次及访问异常。 1 初始化新机器1.1 在新器1.1.1.3部署hadoop软件（直接复制standby1.1.1.2节点）1.2 初始化/log,/data/等目录1.3 试启动namenode,zkfc,以便确认目录权限OK注： 阅读全文
posted @ 2019-04-29 10:06
信方
阅读(958)
评论(0)
推荐(0)
摘要：
Hadoop参数汇总 linux参数 以下参数最好优化一下： JVM参数 Hadoop参数大全 要配置文件： core hdfs yarn mapred 重要性表示如下： 重要 一般 不重要 core-default.xml hadoop.common.configuration.version 配 阅读全文
posted @ 2019-04-28 17:51
信方
阅读(1176)
评论(0)
推荐(0)
浙公网安备 33010602011771号