David_Lin

2017年1月13日

Using YARN with Cgroups testing in sparkml cluster

摘要：部署服务器： sparkml 集群 ########### sparkml ########## sparkml-node1 # yarn resource manager sparkml-node2 # nodemanager spark-2.0.0sparkml-node3 # nodemana 阅读全文

posted @ 2017-01-13 12:08 David_Lin 阅读(477) 评论(0) 推荐(0)

2016年1月15日

Hadoop datanode 磁盘自动化处理

摘要：新集群的 datanode 磁盘自动化处理工具开工在即。阅读全文

posted @ 2016-01-15 18:01 David_Lin 阅读(135) 评论(0) 推荐(0)

SSD 和 SAS 意外造 raid 1

摘要：一台机器的磁盘更换后，一个 SSD 和一个 SAS 做了 raid 1 ，诡异情况，询问 IDC 同事中。有可能是打开了热备。阅读全文

posted @ 2016-01-15 18:00 David_Lin 阅读(233) 评论(0) 推荐(0)

Kettle 使用相关

摘要： Kettle 作为国外的一款开源ETL软件，要使用了阅读全文

posted @ 2016-01-15 17:57 David_Lin 阅读(118) 评论(0) 推荐(0)

2016年1月14日

Hiver 操作 MySQL 导致锁表

摘要： Hadoop 搬迁到新集群后，操作主库 MySQL 导致了锁表。。。sad具体锁表时间点： 2016-1-14 14:31 到 2016-1-14 14:36 之间在 oradba 的 innodbstatus 信息拿到后，还需要后续继续分析到底是哪条 SQL 锁的。。。咨询了一下 DBA 这边... 阅读全文

posted @ 2016-01-14 15:19 David_Lin 阅读(164) 评论(0) 推荐(0)

2016年1月13日

Hadoop Datanode 机器缺失 VD 问题修复尝试

摘要：背景：新集群 Datanode 使用两个 SSD 做 raid 1 作为根磁盘，12 个 SAS 单独做 raid 0 作为数据盘，在机器部署完毕后，缺发现 PD slot 4 和 slot 5 丢失了 VD，然后挂载目录默认使用了VD初始化，但是挂载目录和 PD 对应不上，这样将会给后续维护集群磁... 阅读全文

posted @ 2016-01-13 21:29 David_Lin 阅读(300) 评论(0) 推荐(0)

公告