06 2021 档案
摘要：less 命令 less [参数] 文件 参数说明： -b <缓冲区大小> 设置缓冲区的大小 -e 当文件显示结束后，自动离开 -f 强迫打开特殊文件，例如外围设备代号、目录和二进制文件 -g 只标志最后搜索的关键词 -i 忽略搜索时的大小写 -m 显示类似more命令的百分比 -N 显示每行的行号
阅读全文
摘要：检查方法 切换到hdfs用户 su - hdfs hdfs fsck / 副本数量是3但只找到两个 尝试修复丢失的副本 命令说明：hdfs debug recoverLease -path 文件位置 -retries 重试次数 hdfs debug recoverLease -path /hbase
阅读全文
摘要：一、背景 5月5日腾讯云安全团队曾针对“攻击者利用Hadoop Yarn资源管理系统REST API未授权漏洞对服务器进行攻击，攻击者可以在未授权的情况下远程执行代码”的安全问题进行预警，在预警的前后我们曾多次捕获相关的攻击案例，其中就包含利用该问题进行挖矿，我们针对其中一个案例进行分析并提供响应的
阅读全文
摘要：查看是否区分大小写 show Variables like '%table_names' 查看lower_case_table_names的值，0代表区分，1代表不区分 修改方法 1.用ROOT登录，修改/etc/my.cnf 2.在[mysqld]下加入一行：lower_case_table_na
阅读全文
摘要：根据加锁的范围，MySQL 里面的锁大致可以分成全局锁，表级锁，行锁。 行锁已经在前面几篇文章说过 1. 全局锁 全局锁就是对整个数据库实例加锁。MySQL 提供了一个加全局读锁的方法，命令是Flush tables with read lock (FTWRL)。 当你需要让整个库处于只读状态的时候
阅读全文
摘要：processlist命令的输出结果显示了有哪些线程在运行，可以帮助识别出有问题的查询语句，两种方式使用这个命令。 1. 进入mysql/bin目录下输入mysqladmin processlist; 2. 启动mysql，输入show full processlist; 如果有 SUPER 权限，
阅读全文
摘要：增加kafka节点后重新分配partition 扩容kafka之后，针对扩容之前的topic进行重新平衡leader，Replicas，Isr 生成分配计划 新建一个json文件，内容如下：（topic为要修改的topic）这里文件取名为 topics-to-move.json { "topics"
阅读全文
摘要：相关参数 #设置日志只保留一个小时的 "log.retention.hours": 1 #设置大于500M就自动删除（默认1G） "log.retention.bytes": "536870912" #设置日志被标记删除后，保留多久彻底删除，1分钟 "log.segment.delete.delay
阅读全文
摘要：cloudera manager 更换MySQL服务器 更换存储cm元数据的MySQL的位置 n1机器更换到n2. 由于我只安装了下边四个服务，这四个不涉及到MySQL，所以不用更改他们的配置，也不用停止这四个服务。 如果所安装的集群使用到MySQL，并且需要一起迁移到新的MySQL，则需要停止这些
阅读全文
摘要：cm5.14中的spark版本是默认是1.6，安装2.2版本的需要手动安装 安装准备： csd包：http://archive.cloudera.com/spark2/csd/ SPARK2_ON_YARN-2.2.0.cloudera3.jar parcel包：http://archive.clo
阅读全文
摘要：CDH参数调优 HDFS参数 fs.trash.interval 垃圾桶功能（需要重启HDFS） 如果为零，垃圾桶功能将被禁用 设置7天后垃圾回收站中的文件会被系统永久删除 如果需要直接删除，不放进回收站需要使用下面命令删除 hadoop fs -rm -r -skipTrash /test fs.
阅读全文
摘要：CDH虚拟网卡引起的警告信息处理 原因是CDH采集了virbr0这张网卡的信息导致的问题 通过ifconfig 可以看见有一个virbr的虚拟网卡 解决办法： 在该机器的配置中搜索 网络 修改网络接口收集排除正则表达式
阅读全文
摘要：重新安装cloudera-manager接管已有集群 由于数据库数据丢失导致CDH集群无法使用，这时hadoop等集群可能在正常运行 但无法通过cloudera-manager来进行管理，需要重新安装cloudera-manager来接管之前的集群并恢复数据。 解决办法： 关闭service 和 a
阅读全文
摘要：启动hue时 Load Balancer启动失败 这个问题一般都是没有安装Httpd 和 mod_ssl 这两个服务导致的 添加这两个服务 这里使用yum安装这两个服务 执行下面的命令 yum -y install httpd mod_ssl
阅读全文
摘要：（1）hdfs dfsadmin -safemode get （功能描述：查看安全模式状态） （2）hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态） （3）hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态） （4）hd
阅读全文
摘要：切片机制 FileInputFormat中默认的切片机制 切片的大小=块的大小=128M（如果程序运行在本地则是32M） 切片的标准是看文件大的小是达到块大小的1.1倍（140.8M），如果达到则按128M进行切片，如果没达到，则其本身就是一个切片。切完第一片剩下的数据在进行比较，如果达到块大小的1
阅读全文
摘要：CentOS6安装与配置 环境准备 1.设置主机名 查看主机名 hostname 修改主机名 vim /etc/hosts IP地址 主机名 vi /etc/sysconfig/network HOSTNAME= 主机名 注意：hosts与network下的主机名称要保持一致 2.配置IP 主机名映
阅读全文
摘要：CentOS7环境下配置Hadoop(CentOS6与7命令不同) 1.设置主机名 hostnamectl set-hostname 主机名 (永久生效) 2.配置IP 主机名映射 vi /etc/hosts 192.168.56.133 node1 192.168.56.133 node2 192
阅读全文
摘要：HDFS写数据流程 1、客户端跟NameNode通信请求上传文件，NameNode检查目标文件是否已经存在，父目录是否已经存在 2、NameNode返回是否可以上传 3、客户端先对文件进行切分，对NameNode请求第一个block上传 4、NameNode返回DataNode服务器DataNode
阅读全文
摘要：1.自定义一个实体类用于接收属性数据。 实现Writable, DBWritable接口，实现四个抽象方法 例： public class DataFilter implements Writable, DBWritable { private String day = null; private
阅读全文
摘要：MapReduce工作流程 MapReduce工作流程 Map阶段： 1.首先由客户端把数据进行切片处理，然后提交切片信息给ResourceManager。 2.ResourceManager找到一个NodeManager，由NodeManager创建分析出Maptask数量 3.每个输入分片由一个
阅读全文
摘要：Read阶段： 首先读取文件，然后对文件进行切片，大小为默认128M，并交给MapTask解析出一个个 K/V键值对 Map阶段： 将解析出来的键值对交给用户编写的业务逻辑执行，处理这些数据，并调用 context.write() Collert收集阶段： context.write处理数据，调用P
阅读全文
摘要：报错信息： java.lang.RuntimeException: Mismatched address stored in ZK for NameNode at /172.23.6.96:9000: Stored protobuf was nameserviceId: "mycluster" na
阅读全文
摘要：vim编辑器 vim编辑器 一般模式 （1） yy（功能描述：复制光标当前一行） y数字y （功能描述：复制一段(从第几行到第几行，光标闪烁处认为第一行，y2y，即复制光标所在行以及光标下一行)） （2）p（功能描述：箭头移动到目的行粘贴粘在光标所在行的下一行） （3） u（功能描述：撤销上一步）
阅读全文
摘要：Linux命令 常用快捷键 （1）ctrl + c：停止进程 （2）ctrl+l：清屏 （3）善于用tab键 （4）上下键：查找执行过的命令 文件目录类 (1) pwd 显示当前工作目录的绝对路径 (2) ls 列出目录的内容 ls [参数] [目录或是文件] list 参数: -a ：all,全部
阅读全文
摘要：获取网络信息 查看所有到指定ip的连接 lsof -i@172.16.12.5 查看指定端口信息 lsof -i :22 查看所有TCP或UDP连接 lsof -iTCP 查看所有网络连接 lsof -i 查看所有ipv6的网络连接 lsof -i 6 查看指定状态的连接 监听状态 lsof -i
阅读全文
摘要：java -Xloggc:./jvm.log java -Xms750m -Xmx750m -Xmn512m -Xss1024k -XX:MaxPermSize=128m -XX:+UseConcMarkSweepGC -XX:CMSFullGCsBeforeCompaction=5 -XX:+Us
阅读全文
摘要：Linux diff命令用于比较文件的差异。 diff以逐行的方式，比较文本文件的异同处。如果指定要比较目录，则diff会比较目录中相同文件名的文件，但不会比较其中子目录。 参数： -<行数> 指定要显示多少行的文本。此参数必须与-c或-u参数一并使用。 -a或--text diff预设只会逐行比较
阅读全文
摘要：权限系统工作原理： MySQL权限系统通过下面两个阶段进行认证： （1）对连接的用户进行身份认证，合法的用户通过认证、不合法的用户拒绝连接。 （2）对通过认证的合法用户赋予相应的权限，用户可以在这些权限范围内对数据库做相应的操作。 对于身份，MySQL是通过IP地址和用户名联合进行确认的，例如MyS
阅读全文
摘要：show slave status \G 参数详解 1 Slave_IO_State:SHOW PROCESSLIST输出的State字段的拷贝。 Master_User:被用于连接主服务器的当前用户。 Master_Port:当前的主服务器接口。 Connect_Retry:–master-con
阅读全文
摘要：先开启二进制日志 修改主从机器的配置文件/etc/my.cnf 增加： log-bin=mysql-bin 开启log-bin日志 server-id=1 设置id 重启MySQL服务，登陆MySQL执行： show variables like '%log_bin%'; 查看log-bin on
阅读全文
摘要：查询数据库总大小 SELECT concat( round( sum( data_length / 1024 / 1024 ), 2 ), 'MB' ) AS DATA FROM information_schema.TABLES; 查询所有库的大小 SELECT table_schema AS '
阅读全文
摘要：导出： 1.仅仅导出数据到文件中（默认tab分割） select * from UM_USER into outfile '/tmp/UM_USER.txt'; 按指定格式导出 字段分割用 逗号，内容用引号，换行用\n ( CSV 格式) select * from UM_USER into out
阅读全文
摘要：开启bin-log 1.编译安装的MySQL 修改/etc/my.cnf文件 在[mysqld]标签下添加: log-bin=mysql-bin erver-id=1 2.通过yum或rpm安装包安装的MySQL 通过find / -name my.cnf 查找my.cnf路径 在[mysqld]标
阅读全文
摘要：一、全量同步 由于一些原因导致从库与主库的数据不同步，可以重新全量同步主从的数据 1.锁表并吧内存中的数据保存到binlog中 FLUSH TABLES WITH READ LOCK; SHOW MASTER STATUS; 2.导出数据 bin/mysqldump --single-transac
阅读全文
摘要：为什么会产生碎片 简单的说,删除数据必然会在数据文件中造成不连续的空白空间,而当插入数据时,这些空白空间则会被利用起来.于是造成了数据的存储位置不连续,以及物理存储顺序与理论上的排序顺序不同,这种是数据碎片.实际上数据碎片分为两种,一种是单行数据碎片,另一种是多行数据碎片.前者的意思就是一行数据,被
阅读全文
摘要：表结构 CREATE TEMPORARY TABLE `TABLES` ( `TABLE_CATALOG` varchar(512) NOT NULL DEFAULT '', `TABLE_SCHEMA` varchar(64) NOT NULL DEFAULT '', `TABLE_NAME` v
阅读全文
摘要：在windows搭建nfs服务器，使用mac读取windows上的文件 准备工具 hanewin_nfs_server 📎HANEWIN.zip 解压后双击exe安装，全程下一步 汉化方法： 把chinese.ini文件放到安装目录中的languages目录中 用管理员权限启动NFS Server
阅读全文
摘要：1.解压安装包 tar -zxvf mysql-5.7.13-linux-glibc2.5-x86_64.tar.gz 2.更改目录名称 mv mysql-5.7.13-linux-glibc2.5-x86_64 mysql 3.进入mysql并创建目录 mkdir log tmp var data
阅读全文
摘要：这个教程是在虚拟机为linux系统 并且是在同一网络的前提下，不在同一网络需要借助第三方工具比如zerotier，花生壳之类的软件 一、使用xshell或ssh工具连接另一台电脑里的虚拟机 二、两台电脑中的虚拟机互相访问 一、要连接另一台电脑的虚拟机，首先去要连接的电脑上设置网络 vmware设置
阅读全文
摘要：系统:centos7(64位) 1.先查看空间分配情况 df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/centos-root 38G 978M 37G 3% / devtmpfs 3.9G 0 3.9G 0% /dev tm
阅读全文
摘要：该方法适用与集群中有一台能连外网的服务器作为时钟服务器，其他机器只能连接内网，这时用这个方法来进行集群时间的同步 yum -y install ntp yum -y install ntpdate sudo chkconfig ntpd on server机器配置 （node01机器） 编辑配置文件
阅读全文
摘要：yum -y install rsync rsync -aP /tmp/text/ n2:/tmp/text 选项说明： -v：显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。 -P：显示文件传输的进度信息。(实际上"-P"="--partial --progress"，其中的"
阅读全文
摘要：说明：使用rz sz实现终端的文件传输 工具：iTerm2、lrzsz、homebrew 以及两个脚本文件（iterm2-recv-zmodem.sh、iterm2-send-zmodem.sh） iTerm2 官网下载 http://www.iterm2.com/ 下载完直接拖进应用程序就可以了
阅读全文
摘要：更改前查看是开启状态 cat /sys/kernel/mm/transparent_hugepage/enabledcat cat /sys/kernel/mm/transparent_hugepage/defrag 方式一：实时生效，不需要重启机器（重启后失效） 执行命令 echo "never"
阅读全文
摘要：查找HDFS有哪些小文件以及统计数量 hdfs 导出fsimage文件 hdfs dfsadmin -fetchImage /data 转换为可视化数据 hdfs oiv -i /data/fsimage_0000000000930647029 -o /data/fsimage.csv -p Del
阅读全文
摘要：替换当前行第一个 vivian为sky :s/vivian/sky/ 替换当前行所有 vivian为sky :s/vivian/sky/g 替换第 n 行开始到最后一行中，每一行的第一个vivian为sky :n,$s/vivian/sky/ 替换第 n 行开始到最后一行中，每一行所有vivian为
阅读全文
摘要：history显示时间 临时生效 export HISTTIMEFORMAT='%F %T ' 永久生效 vim /etc/bascrc 添加 HISTFILESIZE=2000 HISTSIZE=2000 HISTTIMEFORMAT="%m-%d %H:%M " export HISTTIMEF
阅读全文
摘要：Zerotier 定义了几个专业名词： PLANET 行星服务器 ，Zerotier 根服务器 MOON 卫星服务器，用户自建的私有根服务器，起到代理加速的作用 LEAF 网络客户端，就是每台连接到网络节点 zerotier 同意客户端接入 https://blog.csdn.net/dingjia
阅读全文
摘要：linux加入zerotier网络 在线安装zerotier curl -s https://install.zerotier.com | sudo bash 查看安装zerotier版本 sudo zerotier-cli status 加入一个netWork sudo zerotier-cli
阅读全文
摘要：语法格式 sar [ 选项 ] [ <时间间隔> [ <次数> ] ] sar -h 显示： -A:所有报告的总和 -b:显示I/O和传递速率的统计信息 -B:显示换页状态 -d:输出每一块磁盘的使用信息 -e:设置显示报告的结束时间 -f:从制定的文件读取报告 -i:设置状态信息刷新的间隔时间 -
阅读全文
摘要：FTP服务 软件安装包： vsftpd 默认发布目录： /var/ftp 协议接口： 21/tcp 服务配置文件： /etc/vsftpd/vsftpd.conf 报错id的解析： 500 ##文件系统权限过大 530 ##用户认证失败 550 ##服务本身功能未开放 553 ##文件权过小 FTP
阅读全文
摘要：背景：俩节点haproxy通过keepalived实现高可用 说明：harpxy的实际运行过程中，当master发生异常，且后期恢复master正常后，存在抢占或非抢占两种情况。简单点说抢占模式就是，当master宕机后，backup 接管服务。后续当master恢复后，vip漂移到master上，
阅读全文
摘要：什么是node ES集群中每一个节点就是一个node，或者一个Elasticsearch实例就是一个节点。 node分类： a、主节点： 主节点不接受客户端的请求，他主要控制Elasticsearch集群，负责集群中的操作，比如创建/删除一个索引，跟踪哪些节点是群集的一部分，并决定哪些分片分配给相关
阅读全文
摘要：下载：https://www.elastic.co/cn/downloads/past-releases/kibana-7-11-1 版本要和ElasticSearch版本一致 配置文件 #ES地址 elasticsearch.hosts: ["http://192.168.119.11:9200"
阅读全文
摘要：下载地址： https://github.com/medcl/elasticsearch-analysis-ik/releases 解压 elasticsearch-7.11.1/plugins 重启es 查看插件列表 bin/elasticsearch-plugin list 最小粒度切分 ik_
阅读全文
摘要：1. 系统层面的调优 系统层面的调优主要是内存的设定与避免交换内存。 ES 安装后默认设置的堆内存是 1GB，这很明显是不够的，那么接下来就会有一个问题出现：我们要设置多少内存给 ES 呢？ 其实这是要看我们集群节点的内存大小，还取决于我们是否在服务器节点上还是否要部署其他服务。 如果内存相对很大，
阅读全文
摘要：ES 性能调优 ES 的默认配置，是综合了数据可靠性、写入速度、搜索实时性等因素。实际使用时，我们需要根据公司要求，进行偏向性的优化。 写优化 假设我们的应用场景要求是，每秒 300 万的写入速度，每条 500 字节左右。 针对这种对于搜索性能要求不高，但是对写入要求较高的场景，我们需要尽可能的选择
阅读全文
摘要：linux系统参数调整 a. sudo vim /etc/security/limits.conf * soft nofile 655360 * hard nofile 655360 * soft nproc 655360 * hard nproc 655360 b. sudo vi /etc/se
阅读全文
摘要：部署MYSQL 准备yaml文件 位置：/etc/kubernetes/manifests mysql-rc.yaml apiVersion: v1 kind: ReplicationController metadata: name: mysql spec: replicas: 1 selecto
阅读全文
摘要：apiVersion: v1 #指定api版本，此值必须在kubectl apiversion中 kind: Pod #指定创建资源的角色/类型 metadata: #资源的元数据/属性 name: django-pod #资源的名字，在同一个namespace中必须唯一 labels: #设定资源
阅读全文
摘要：下载链接：https://github.com/helm/helm/releases/tag/v3.5.4 📎helm-v3.5.4-linux-amd64.tar.gz 解压后复制helm到/usr/bin 目录下 添加仓库地址 仓库地址： 微软仓库（http://mirror.azure.cn
阅读全文
摘要：kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署： # 创建一个 Master 节点 $ kubeadm init # 将一个 Node 节点加入到当前集群中 $ kubeadm join <Master节点
阅读全文
摘要：kubectl命令导出yaml文件 kubectl get deploy nginx -o=yaml > 1.yaml kubectl生成yaml文件 kubectl create deployment web --image=nginx -o yaml --dry-run >> nginx-rc.
阅读全文
摘要：kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署： # 创建一个 Master 节点 $ kubeadm init # 将一个 Node 节点加入到当前集群中 $ kubeadm join <Master节点
阅读全文
浙公网安备 33010602011771号