摘要：
根据加锁的范围，MySQL 里面的锁大致可以分成全局锁，表级锁，行锁。 行锁已经在前面几篇文章说过 1. 全局锁 全局锁就是对整个数据库实例加锁。MySQL 提供了一个加全局读锁的方法，命令是Flush tables with read lock (FTWRL)。 当你需要让整个库处于只读状态的时候 阅读全文
posted @ 2021-06-16 11:31
会飞的鹅
阅读(81)
评论(0)
推荐(0)
摘要：
processlist命令的输出结果显示了有哪些线程在运行，可以帮助识别出有问题的查询语句，两种方式使用这个命令。 1. 进入mysql/bin目录下输入mysqladmin processlist; 2. 启动mysql，输入show full processlist; 如果有 SUPER 权限， 阅读全文
posted @ 2021-06-16 11:19
会飞的鹅
阅读(420)
评论(0)
推荐(0)
摘要：
增加kafka节点后重新分配partition 扩容kafka之后，针对扩容之前的topic进行重新平衡leader，Replicas，Isr 生成分配计划 新建一个json文件，内容如下：（topic为要修改的topic）这里文件取名为 topics-to-move.json { "topics" 阅读全文
posted @ 2021-06-16 11:18
会飞的鹅
阅读(446)
评论(0)
推荐(1)
摘要：
相关参数 #设置日志只保留一个小时的 "log.retention.hours": 1 #设置大于500M就自动删除（默认1G） "log.retention.bytes": "536870912" #设置日志被标记删除后，保留多久彻底删除，1分钟 "log.segment.delete.delay 阅读全文
posted @ 2021-06-16 10:37
会飞的鹅
阅读(280)
评论(0)
推荐(0)
摘要：
cloudera manager 更换MySQL服务器 更换存储cm元数据的MySQL的位置 n1机器更换到n2. 由于我只安装了下边四个服务，这四个不涉及到MySQL，所以不用更改他们的配置，也不用停止这四个服务。 如果所安装的集群使用到MySQL，并且需要一起迁移到新的MySQL，则需要停止这些 阅读全文
posted @ 2021-06-16 10:35
会飞的鹅
阅读(101)
评论(0)
推荐(0)
摘要：
cm5.14中的spark版本是默认是1.6，安装2.2版本的需要手动安装 安装准备： csd包：http://archive.cloudera.com/spark2/csd/ SPARK2_ON_YARN-2.2.0.cloudera3.jar parcel包：http://archive.clo 阅读全文
posted @ 2021-06-16 10:34
会飞的鹅
阅读(129)
评论(0)
推荐(0)
摘要：
CDH参数调优 HDFS参数 fs.trash.interval 垃圾桶功能（需要重启HDFS） 如果为零，垃圾桶功能将被禁用 设置7天后垃圾回收站中的文件会被系统永久删除 如果需要直接删除，不放进回收站需要使用下面命令删除 hadoop fs -rm -r -skipTrash /test fs. 阅读全文
posted @ 2021-06-16 10:33
会飞的鹅
阅读(439)
评论(0)
推荐(0)
摘要：
CDH虚拟网卡引起的警告信息处理 原因是CDH采集了virbr0这张网卡的信息导致的问题 通过ifconfig 可以看见有一个virbr的虚拟网卡 解决办法： 在该机器的配置中搜索 网络 修改网络接口收集排除正则表达式 阅读全文
posted @ 2021-06-16 10:32
会飞的鹅
阅读(159)
评论(0)
推荐(0)
摘要：
重新安装cloudera-manager接管已有集群 由于数据库数据丢失导致CDH集群无法使用，这时hadoop等集群可能在正常运行 但无法通过cloudera-manager来进行管理，需要重新安装cloudera-manager来接管之前的集群并恢复数据。 解决办法： 关闭service 和 a 阅读全文
posted @ 2021-06-16 10:31
会飞的鹅
阅读(545)
评论(0)
推荐(0)
摘要：
启动hue时 Load Balancer启动失败 这个问题一般都是没有安装Httpd 和 mod_ssl 这两个服务导致的 添加这两个服务 这里使用yum安装这两个服务 执行下面的命令 yum -y install httpd mod_ssl 阅读全文
posted @ 2021-06-16 10:28
会飞的鹅
阅读(149)
评论(0)
推荐(0)
摘要：
（1）hdfs dfsadmin -safemode get （功能描述：查看安全模式状态） （2）hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态） （3）hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态） （4）hd 阅读全文
posted @ 2021-06-16 10:27
会飞的鹅
阅读(86)
评论(0)
推荐(0)
摘要：
切片机制 FileInputFormat中默认的切片机制 切片的大小=块的大小=128M（如果程序运行在本地则是32M） 切片的标准是看文件大的小是达到块大小的1.1倍（140.8M），如果达到则按128M进行切片，如果没达到，则其本身就是一个切片。切完第一片剩下的数据在进行比较，如果达到块大小的1 阅读全文
posted @ 2021-06-16 10:26
会飞的鹅
阅读(373)
评论(0)
推荐(0)
摘要：
CentOS6安装与配置 环境准备 1.设置主机名 查看主机名 hostname 修改主机名 vim /etc/hosts IP地址 主机名 vi /etc/sysconfig/network HOSTNAME= 主机名 注意：hosts与network下的主机名称要保持一致 2.配置IP 主机名映 阅读全文
posted @ 2021-06-16 10:24
会飞的鹅
阅读(292)
评论(0)
推荐(0)
摘要：
CentOS7环境下配置Hadoop(CentOS6与7命令不同) 1.设置主机名 hostnamectl set-hostname 主机名 (永久生效) 2.配置IP 主机名映射 vi /etc/hosts 192.168.56.133 node1 192.168.56.133 node2 192 阅读全文
posted @ 2021-06-16 10:23
会飞的鹅
阅读(278)
评论(0)
推荐(0)
摘要：
HDFS写数据流程 1、客户端跟NameNode通信请求上传文件，NameNode检查目标文件是否已经存在，父目录是否已经存在 2、NameNode返回是否可以上传 3、客户端先对文件进行切分，对NameNode请求第一个block上传 4、NameNode返回DataNode服务器DataNode 阅读全文
posted @ 2021-06-16 10:22
会飞的鹅
阅读(353)
评论(0)
推荐(0)
摘要：
1.自定义一个实体类用于接收属性数据。 实现Writable, DBWritable接口，实现四个抽象方法 例： public class DataFilter implements Writable, DBWritable { private String day = null; private 阅读全文
posted @ 2021-06-16 10:21
会飞的鹅
阅读(23)
评论(0)
推荐(0)
摘要：
MapReduce工作流程 MapReduce工作流程 Map阶段： 1.首先由客户端把数据进行切片处理，然后提交切片信息给ResourceManager。 2.ResourceManager找到一个NodeManager，由NodeManager创建分析出Maptask数量 3.每个输入分片由一个 阅读全文
posted @ 2021-06-16 10:19
会飞的鹅
阅读(1165)
评论(0)
推荐(0)
摘要：
Read阶段： 首先读取文件，然后对文件进行切片，大小为默认128M，并交给MapTask解析出一个个 K/V键值对 Map阶段： 将解析出来的键值对交给用户编写的业务逻辑执行，处理这些数据，并调用 context.write() Collert收集阶段： context.write处理数据，调用P 阅读全文
posted @ 2021-06-16 10:18
会飞的鹅
阅读(92)
评论(0)
推荐(0)
摘要：
报错信息： java.lang.RuntimeException: Mismatched address stored in ZK for NameNode at /172.23.6.96:9000: Stored protobuf was nameserviceId: "mycluster" na 阅读全文
posted @ 2021-06-16 10:13
会飞的鹅
阅读(311)
评论(0)
推荐(0)
浙公网安备 33010602011771号