岚天逸见

Hadoop（HDFS、YARN、HBase、Hive和Spark等）默认端口表

摘要：端口作用9000fs.defaultFS，如：hdfs://172.25.40.171:90009001dfs.namenode.rpc-address，DataNode会连接这个端口50070dfs.namenode.http-address50470dfs.nam... 阅读全文

posted @ 2014-04-29 18:45 岚天逸见阅读(1316) 评论(0) 推荐(0)

O_DIRECT方式读取文件示例

摘要： #include #include #include #include #include #include #include #include #include // 读文件类class CFileReader{public: CFileReader() : _bu... 阅读全文

posted @ 2014-04-28 14:12 岚天逸见阅读(796) 评论(0) 推荐(0)

Hadoop-2.4.0分布式安装手册

摘要：目录目录 11. 前言 22. 部署 22.1. 机器列表 22.2. 主机名 22.2.1. 临时修改主机名 32.2.2. 永久修改主机名 32.3. 免密码登录范围 43. 约定 43.1. 安装目录约定 43.2. 服务端口约定 54. 工作详单 65. JD... 阅读全文

posted @ 2014-04-28 09:29 岚天逸见阅读(377) 评论(0) 推荐(0)

HBase-0.98.0和Phoenix-4.0.0分布式安装指南

摘要：目录目录 11. 前言 12. 约定 23. 相关端口 24. 下载HBase 25. 安装步骤 25.1. 修改conf/regionservers 25.2. 修改conf/hbase-site.xml 35.2.1. hbase.master.info.port... 阅读全文

posted @ 2014-04-24 10:38 岚天逸见阅读(231) 评论(0) 推荐(0)

Hive 0.12.0安装指南

摘要：目录目录 1 1. 前言 1 2. 约定 1 3. 服务端口 2 4. 安装MySQL 2 4.1. 安装MySQL 2 4.2. 创建Hive元数据库 2 5. 安装步骤 3 5.1. 下载Hive 0.12.0二进制安装包 3 5.2. 安装Hive 3 5.3. 安装MySQL-Connec 阅读全文

posted @ 2014-04-23 15:45 岚天逸见阅读(533) 评论(0) 推荐(0)

什么是反向代理？

摘要：有同学问我怎么理解反向代理和CDN加速。既然叫“反向”，是否有对应的“正向”了？答案是有，不过一般就直接叫代理了。日常中也不难见，比如很多公司电脑上网，需要配置一个代理，这个代理就是正向代理，显然它被安装在客户端。所谓“反向代理”，是指安装在服务端的代理。做互联... 阅读全文

posted @ 2014-04-22 18:57 岚天逸见阅读(206) 评论(0) 推荐(0)

ZooKeeper-3.4.10分布式安装指南

摘要：目录目录 11. 前言 12. 约定 13. 安装步骤 23.1. 配置/etc/hosts 23.2. 设置myid 23.3. 修改conf/zoo.cfg 23.4. 修改/bin/zkEnv.sh 33.5. 修改conf/log4j.properties 3... 阅读全文

posted @ 2014-04-22 11:55 岚天逸见阅读(407) 评论(0) 推荐(0)

在Linux上编译Hadoop-2.4.0

摘要：目录目录 11. 前言 12. 安装依赖 12.1. 安装ProtocolBuffer 22.2. 安装CMake 22.3. 安装JDK 22.4. 安装Maven 33. 编译Hadoop源代码 3附1:无联网环境编译 5附2编译环境 6附3：版本信息 6附4：常... 阅读全文

posted @ 2014-04-21 15:48 岚天逸见阅读(167) 评论(0) 推荐(0)

g++中宏NULL究竟是什么？

摘要： NULL是个指针，还是个整数？0？或(void*)0？答案是和g++版本有关。g++ 4.6支持C++11，引入了nullptr，也许会发生变化。可以写段简单代码求证一下：#include #include int main(){ printf("... 阅读全文

posted @ 2014-04-21 15:36 岚天逸见阅读(564) 评论(0) 推荐(0)

Hadoop-2.4.0中HDFS文件块大小默认为128M

摘要： 134217728 / 1024 = 131072 / 1024 = 128 阅读全文

posted @ 2014-04-19 14:33 岚天逸见阅读(635) 评论(0) 推荐(0)