zaleilynn

2013年1月16日

摘要： zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。 zookeeper安装和使用zookeeper的安装基本上可以按照 http://hadoop.apache.org/zookeeper/docs/current/ zookeeperStarted.html 这个页面上的步骤完成安装，这里主要介绍下部署一个集群的步骤，因为这个官方页面似乎讲得并不是非常详细(Running Replicated Zookee. 阅读全文

posted @ 2013-01-16 20:59 zaleilynn 阅读(725) 评论(0) 推荐(0)

2013年1月15日

[zz]Linux kernel map

摘要：出自：http://www.makelinux.net/kernel_map/ 阅读全文

posted @ 2013-01-15 14:49 zaleilynn 阅读(159) 评论(0) 推荐(0)

SPDY

摘要： SPDY 是 Google 开发的基于 TCP 的应用层协议，是对 HTTP 协议的增强。设计 SPDY 的目的在于降低网页的加载时间。是HTTP 2.0的草稿，据说将在2014年定稿，持续关注中阅读全文

posted @ 2013-01-15 10:36 zaleilynn 阅读(149) 评论(0) 推荐(0)

2013年1月14日

Hadoop 集群启动一直处于safemode解决方法

摘要：这个是由于HDFS被异常关闭之后造成数据库的不一致状态而造成的：1）等当然，这个是最安全的方式，如果等了太长时间仍处于这个状态，尝试下面的方法2)强制退出安全模式，hadoop dfsadmin -safemode leave这种方式虽然快，但会有遗留问题，然后你就用"hadoop fsck /" 工具慢慢修复吧1）删除tmp文件目录下的所有的文件，重新format这种方式非常暴力，所有的数据均没有了阅读全文

posted @ 2013-01-14 17:03 zaleilynn 阅读(1308) 评论(0) 推荐(0)

File /tmp/hadoop-root/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1

摘要：报出这个错误的原因是无法像HDFS写信息，可能是你重新初始化了HDFS，立马就运行了jobtracker。解决办法就是，等一段时间，等HDFS初始化成功即可。阅读全文

posted @ 2013-01-14 16:58 zaleilynn 阅读(335) 评论(0) 推荐(0)

shell变量设置

摘要： var=${str-expr} var=${str:-expr}var=${str+expr}var=${str:+expr}var=${str=expr}var=${str:=expr}var=${str?expr}var=${str:?expr}没有怎么弄懂 TODO 阅读全文

posted @ 2013-01-14 16:16 zaleilynn 阅读(292) 评论(0) 推荐(0)

shell中特殊字符(串)

摘要： $$ 含义: 表示运行当前脚本的pid 例子： echo "current pid: $$"\ 含义：字符串中的转义符号例子： echo "\$\$ is used to get pid: $$"$@ 和 $* 含义：表示所有的参数例子： echo "all arg: $*" 或者 echo "all arg: $@" 两者的区别在于$@比$*更高级，它不使用IFS环境变量，所以即使IFS为空，参数也不会挤在一起，故推荐用$@$+数字含义：运行脚本的参数例子：echo "cmd: $0 $1&qu 阅读全文

posted @ 2013-01-14 15:20 zaleilynn 阅读(663) 评论(0) 推荐(0)

shell脚本中调用其他脚本

摘要：目前来说有三种方法： 1. 脚本绝对路径这个方式是最普通的，底层调用的是fork实现，运行的时候开一个子shell执行调用的脚本，子shell执行的时候，父shell还在子shell执行完毕后返回父shell，子shell从父shell继承环境变量，但是子shell中的环境变量不会带回父shell中 2. 句号 + 脚本绝对路径底层调用的是source实现的，他于fork的区别是不新开一个子shell来执行被调用的脚本，而是在同一个shell中执行，所以被调用脚本中申明的变量和环境变量，都可以在主脚本中得到和使用 2. exec + 脚本绝对路径 exec与fork不同，不需要新开一个子阅读全文

posted @ 2013-01-14 14:52 zaleilynn 阅读(1713) 评论(0) 推荐(0)

glog 使用中存在的问题

摘要： 1. DLOG（WARNING）不能正确的写到warning文件中，反而写到了info文件中。会不会是fork的时候造成的问题? 初始化glog相关代码 m_pid = fork(); if(m_pid == 0) { CloseInheritedFD(); //DLOG(WARNING) << } //DLOG(WARNING) <<注意是这个issue：http://code.google.com/p/google-glog/source/detail?r=942. glog 与 repid xml一起使用的时候，会出现诡异的问题，是不是内存被弄坏了？阅读全文

posted @ 2013-01-14 13:59 zaleilynn 阅读(557) 评论(0) 推荐(0)

2013年1月12日

lxc命令简单速查

摘要： LXC 使用 cgroup 文件系统来管理容器。在使用 LXC 之前，首先必须挂载这个文件系统：mount -t cgroup cgroup /cgroup。可以将 cgroup 文件系统挂载到任何地方。LXC 将使用 /etc/mtab 中挂载的第一个 cgroup 文件系统。(ubuntu11.10安装libvirt之后会自动挂在到/sys/fs/cgroup，无需手工操作)LXC 文档：http://lxc.sourceforge.net/man/ 查看和调整容器的优先级lxc-priority -n namelxc-priority -n name -p priority持续观察容器的阅读全文

posted @ 2013-01-12 09:47 zaleilynn 阅读(955) 评论(0) 推荐(0)

公告