正文内容加载中...
posted @ 2015-10-09 15:25 skyl夜 阅读(207) 评论(0) 推荐(0) 编辑
摘要:1.怎样排除页面元素(图片之类)的点击量? 在网站的页面代码中加入一段js脚本"探针"。每次打开网页时,此探针将被激活,在统计日志的服务器(如百度统计)上生成一条记录。所以,不论此页面上有多少个元素,都只会在日志服务器生成一条记录。在分析PV及UV时,我们不直接分析网站本身生成的日志,而是分析探针激... 阅读全文
posted @ 2015-10-05 12:49 skyl夜 阅读(102) 评论(0) 推荐(0) 编辑
摘要:map/reduce程序执行时,reduce节点大部分执行完毕,但是有一个或者几个reduce节点运行很慢,导致整个程序的处理时间很长,这是因为某一个key的条数比其他key多很多(有时是百倍或者千倍之多),这条key所在的reduce节点所处理的数据量比其他节点就大很多,从而导致某几个节点迟迟运行... 阅读全文
posted @ 2015-10-04 22:16 skyl夜 阅读(5462) 评论(0) 推荐(2) 编辑
摘要:1.错误日志:Directory /tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. 错误原因:在Linux下Hadoop等的各种... 阅读全文
posted @ 2015-10-04 21:38 skyl夜 阅读(2582) 评论(0) 推荐(0) 编辑
摘要:1.安装mvn(可以省略,因为eclipse自带maven插件) 1.1. 上传安装包到linux 1.2. 解压maven安装包mkdir /usr/maventar -zxvf apache-maven-3.2.1-bin.tar.gz -C /usr/maven 1.3添加maven到环... 阅读全文
posted @ 2015-10-04 17:24 skyl夜 阅读(873) 评论(0) 推荐(0) 编辑
摘要:#新增节点1.安装lunix,和以前一样的版本 2.初始化系统环境 2.1.设置静态ipvi /etc/sysconfig/network-scripts/ifcfg-eth0//增加 #Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE]DEVI... 阅读全文
posted @ 2015-10-04 16:02 skyl夜 阅读(4124) 评论(0) 推荐(0) 编辑
摘要:zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg,需要将其修改为zoo.cfg。其中各配置项的含义,解释如下:1.tickTime:Client-Server通信心跳时间Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 ti... 阅读全文
posted @ 2015-10-04 14:51 skyl夜 阅读(14642) 评论(0) 推荐(1) 编辑
摘要:注意:apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系######注意#####... 阅读全文
posted @ 2015-10-04 14:44 skyl夜 阅读(332) 评论(0) 推荐(0) 编辑
摘要:写在开头:在部署hbase集群之前,先把hadoop集群部署好。然后把zookeeper集群部署好。然后部署hbase,注意hbase相关的配置文件。1.上传hbase安装包2.解压3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)//注意:要把hadoop的hdfs-site.xm... 阅读全文
posted @ 2015-10-04 12:22 skyl夜 阅读(316) 评论(0) 推荐(0) 编辑
摘要:脚本使用小结:1.开启集群,start-hbase.sh2.关闭集群,stop-hbase.sh3.开启/关闭【所有】的regionserver、zookeeper,hbase-daemons.sh start/stop regionserver/zookeeper4.开启/关闭【单个】的regio... 阅读全文
posted @ 2015-10-03 20:11 skyl夜 阅读(2904) 评论(0) 推荐(0) 编辑