gentleman_hai

摘要： ipset是什么 IPset是Linux内核中的一个框架，可以由ipset实用程序管理。根据类型的不同，IP集可以以某种方式存储IP地址、网络、(TCP/UDP)端口号、MAC地址、接口名或它们的组合，这确保了在与集匹配条目时的闪电速度。 ipset能做什么 存储多个IP地址或端口号，并与iptab 阅读全文

摘要： 1、am什么时候将nodemanager加入黑名单？ 如果一个nodemanager节点上的yarn任务失败次数达到3次（mapreduce.job.maxtaskfailures.per.tracker），任务的application master会请求resources manager将这个no 阅读全文

摘要： hbase-site.xml配置参数介绍 hbase.rootdir 这个目录是region server的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录，namenode 运行在namenode.exampl 阅读全文

摘要： 【.bash_profile 与 .bashrc 的区别】 .bash_profile is executed for login shells, while .bashrc is executed for interactive non-login shells. 【login shell 与 n 阅读全文

摘要： 文件内容 # cat file id appsSubmitted appsCompleted appsRunning appsFailed appsKilled ts 5 95255 94881 8 77 289 2019-03-14 15:04:31 6 95263 94883 14 77 289 阅读全文

摘要： 1、概述 sed是stream editor的简称，也就是流编辑器。他一次处理一行内容，处理时，把当前处理的行存储在临时缓存区，称为“pattern space”，接着用sed命令处理缓存区的内容，处理完成后，把缓存区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，出 阅读全文

摘要： 背景： 1）需要将yarn queue user的资源使用展示出来 2）数据已经存储在mysql里，需要过滤后插入到influxdb 3）由于历史数据比较多，用户的CPU、内存的数据分别有200万 分析： 1）查询mysql中m_bizhadoop_yarn_queue_userinfo的表中查询出 阅读全文

摘要： 1、Linux环境下查看CPU信息 1.1、查看CPU详细信息 通过cat /proc/cpuinfo命令，可以查看CPU相关的信息 [root@rh ~]$ cat /proc/cpuinfo processor : 0 vendor_id : GenuineIntel cpu family : 阅读全文

摘要： 背景 1）试试本地模式的spark streaming 2）试试yarn模式的spark streaming 1、本地模式的spark streaming 代码如下： package com.hxh import org.apache.spark.SparkConf import org.apach 阅读全文

摘要： 1、背景： 在已经配置了spark history的基础上，我们已经成功运行了spark了，通过yarn web ui界面任务的Tracking URL：History链接去查看任务历史运行情况，发现点击后还是在当前页 例如： 原因是： 我们在运行spark任务后，默认是由AM进行历史任务汇聚，拼接 阅读全文