leocook

hadoop系列第三坑： Task process exit with nonzero status of 137

摘要：跑MR的时候抛出异常：java.lang.Throwable: Child Error at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:250)Caused by: java.io.IOException: Task... 阅读全文

posted @ 2015-07-02 09:30 leocook 阅读(3302) 评论(0) 推荐(0) 编辑

hadoop系列第二坑： hive hbase关联表问题

摘要：关键词：hive创建表卡住了创建hive和hbase关联表卡住了其实针对这一问题在info级别的日志下是看出哪里有问题的（为什么只能在debug下才能看见呢，不太理解开发者的想法）。以调试模式进入hive客户端：hive --hiveconf hive.root.logger=DEBUG,conso... 阅读全文

posted @ 2015-07-02 00:10 leocook 阅读(4510) 评论(0) 推荐(0) 编辑

hadoop系列第一坑： hdfs JournalNode Sync Status

摘要：今天早上来公司发现cloudera manager出现了hdfs的警告，如下图：解决的思路是：1、首先解决简单的问题，查看警告提示的设置的阀值时多少，这样就可以快速定位到问题在哪了，果然JournalNode Sync Status提示最先消去；2、然后解决Sync Status问题，首先找到提示语... 阅读全文

posted @ 2015-07-01 13:17 leocook 阅读(11505) 评论(3) 推荐(0) 编辑

Hadoop优化第一篇 : HDFS/MapReduce

摘要：比较惭愧，博客很久（半年）没更新了。最近也自己搭了个博客，wordpress玩的还不是很熟，感兴趣的朋友可以多多交流哈！地址是：http://www.leocook.org/另外，我建了个QQ群：305994766，希望对大数据、算法研发、系统架构感兴趣的朋友能够加入进来，大家一起学习，共同进步（进... 阅读全文

posted @ 2015-06-27 19:45 leocook 阅读(10007) 评论(0) 推荐(1) 编辑

mysql 修改密码

摘要： # /etc/init.d/mysql stop# mysqld_safe --user=mysql --skip-grant-tables --skip-networking &# mysql -u root mysqlmysql> UPDATE user SET Password=PASSWOR... 阅读全文

posted @ 2015-04-21 10:57 leocook 阅读(505) 评论(0) 推荐(0) 编辑

centos iftop iotop htop

摘要： centos6.4安装iftopyum install gccyum -y install libpcap libpcap-develyum -y install ncurses ncurses-develhtop：wget http://nchc.dl.sourceforge.net/projec... 阅读全文

posted @ 2015-04-17 16:20 leocook 阅读(799) 评论(0) 推荐(0) 编辑

ZooKeeper学习总结第二篇：ZooKeeper深入探讨

摘要：其实zookeeper系列的学习总结很早就写完了，这段时间在准备找工作的事情，就一直没有更新了。下边给大家送上，文中如有不恰当的地方，欢迎给予指证，不胜感谢！。1. 数据模型1.1. 只适合存储小数据Zk维护着一个逻辑上的树形层次结构，树中的节点称为znode，个znode都有一个ACL（权限控制）... 阅读全文

posted @ 2014-12-09 16:24 leocook 阅读(7963) 评论(2) 推荐(5) 编辑

ZooKeeper学习总结第一篇：ZooKeeper快速入门

摘要： 1. 概述Zookeeper是Hadoop的一个子项目，它是分布式系统中的协调系统，可提供的服务主要有：配置服务、名字服务、分布式同步、组服务等。它有如下的一些特点：简单Zookeeper的核心是一个精简的文件系统，它支持一些简单的操作和一些抽象操作，例如，排序和通知。丰富 Zookeeper的原语... 阅读全文

posted @ 2014-11-16 18:15 leocook 阅读(107016) 评论(4) 推荐(6) 编辑

RabbitMQ学习总结第七篇：RCP(远程过程调用协议)

摘要：目录RabbitMQ学习总结第一篇：理论篇RabbitMQ学习总结第二篇：快速入门HelloWorldRabbitMQ学习总结第三篇：工作队列Work QueueRabbitMQ学习总结第四篇：发布/订阅 Publish/SubscribeRabbitMQ学习总结第五篇：路由Routing... 阅读全文

posted @ 2014-10-23 18:31 leocook 阅读(6767) 评论(0) 推荐(2) 编辑

RabbitMQ学习总结第六篇：Topic类型的exchange

摘要：目录 RabbitMQ学习总结第一篇：理论篇 RabbitMQ学习总结第二篇：快速入门HelloWorld RabbitMQ学习总结第三篇：工作队列Work Queue RabbitMQ学习总结第四篇：发布/订阅 Publish/Subscribe RabbitMQ学习总结第五篇：路由Ro 阅读全文

posted @ 2014-10-22 22:37 leocook 阅读(22221) 评论(4) 推荐(2) 编辑