摘要：1、首先安装依赖包 2、安装 zeromq 下载：http://download.zeromq.org/zeromq-4.1.2.tar.gz 解压：tar xzf zeromq-4.1.2.tar.gz 编译安装： 3、安装 jzmq (先安装JDK） 安装git： 或 如果不安装git，则使用w 阅读全文
CentOS6.5 安装Spark集群
2016-05-17 11:14 by 猎手家园, 1635 阅读, 2 推荐, 收藏,
摘要：一、安装依赖软件Scala（所有节点） 1、下载Scala：http://www.scala-lang.org/files/archive/scala-2.10.4.tgz 2、解压： 3、配置scala环境变量 4、测试scala运行环境 二、安装spark 1、下载spark：http://ar 阅读全文
Linux下修改MySQL数据库字符编码为UTF-8解决中文乱码
2016-05-17 11:00 by 猎手家园, 5444 阅读, 0 推荐, 收藏,
摘要：由于MySQL编码原因会导致数据库出现乱码。 解决办法： 修改MySQL数据库字符编码为UTF-8，UTF-8包含全世界所有国家需要用到的字符,是国际编码。 具体操作： 1、进入MySQL控制台 2、修改mysql配置文件 3、重启MySQL服务 MySQL数据库字符集编码修改完成！ 参数说明： c 阅读全文
ODS与DW之间的关系
2016-05-13 09:22 by 猎手家园, 7174 阅读, 0 推荐, 收藏,
摘要：1、什么是数据仓库？ 数据仓库是面向主题的、集成的、相对稳定的、反应历史变化的数据集合，主要用于决策支持和信息的全局共享。 时效：T+1 2、什么是ODS？ ODS全称为Operational Data Store，即操作型数据存储，是“面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合 阅读全文
如何使用Hive&R从Hadoop集群中提取数据进行分析
2016-05-12 16:02 by 猎手家园, 7296 阅读, 0 推荐, 收藏,
摘要：一个简单的例子！ 环境：CentOS6.5 Hadoop集群、Hive、R、RHive，具体安装及调试方法见博客内文档。 1、分析题目 --有一个用户数据样本（表名huserinfo）10万数据左右；--其中有一个字段：身份证号（id_card）--身份证号前两位代表：省，例如：11北京，12天津， 阅读全文
CentOS6.5下实现R绘图
2016-05-12 13:31 by 猎手家园, 2054 阅读, 0 推荐, 收藏,
摘要：1、首先安装R的绘图包Cairo 下载地址：http://www.rforge.net/Cairo/files/ 2、检查 兼容性的检查Cairo支持的图形输出格式： 支持：png、jpeg、pdf、svg、ps、x11(Linux桌面)、raster 不支持：tiff、win（windows桌面） 阅读全文
Util.FSUtils: Waiting for dfs to exit safe mode
2016-05-08 16:15 by 猎手家园, 4292 阅读, 1 推荐, 收藏,
摘要：有好几次，启动Hadoop和HBase之后，执行jps命令，已经看到有HMaster的进程， 但是进入到HBase的shell，执行一个命令，会出现下面的错误： 进入到logs目录查看master的日志：发现一直显示下面的内容： 原来是Hadoop在刚启动的时候，还处在安全模式造成的。 可等Hado 阅读全文
Reported time is too far out of sync with master. Time difference of 52692ms > max allowed of 30000ms
2016-05-08 16:13 by 猎手家园, 1955 阅读, 0 推荐, 收藏,
摘要：RegionServer与Master的时间不一致造成的。由错误内容可以看出两台机器之间最大的误差时间为30000ms,一旦超过这个值便无法启动。 解决办法：同步RegionServer与Master的时间，最好周期性同步，具体方法请参考Linux时间同步设置： http://www.cnblogs 阅读全文
Please add or free up more resources then turn off safe mode manually.
2016-05-08 16:12 by 猎手家园, 481 阅读, 0 推荐, 收藏,
摘要：解决方案：硬盘满了，释放硬盘空间。 阅读全文
Permission denied: user=root, access=WRITE, inode="/":hadoopuser:supergroup:drwxr-xr-x
2016-05-08 16:11 by 猎手家园, 1475 阅读, 0 推荐, 收藏,
摘要：提示往HDFS写文件是不容许的。 在conf/hdfs-site.xml中加入： 阅读全文
浙公网安备 33010602011771号