岚天逸见

HDFS Federation

摘要：目录目录 11. 前言 12. 背景 13. 解析 1 1. 前言Federation翻译成中文是联盟或联邦的意思，网上有很多介绍HDFS Federation的文章，官网上的Federation.html也做了专门的介绍。本文试图画蛇添足，以更通俗的方式重复一遍，以... 阅读全文

posted @ 2014-05-15 10:11 岚天逸见阅读(289) 评论(0) 推荐(0)

摘要：消除重复代码代码很多种，比如：1）提炼成函数复用2）使用宏3）继承4）使用闭包（boost::bind、boost::function）上述是最为常用的，对于C++程序，闭包可能用得相对少一点。下列代码使用的是第5种：利用#include消除重复代码：void f1... 阅读全文

posted @ 2014-05-12 17:48 岚天逸见阅读(366) 评论(0) 推荐(0)

摘要：目录目录 11. 约定 12. 安装Scala 12.1. 下载 22.2. 安装 22.3. 设置环境变量 23. 安装Spark 23.1. 部署 23.2. 下载 33.3. 安装 33.4. 配置 33.4.1. 修改conf/spark-env.sh 33.... 阅读全文

posted @ 2014-05-12 09:44 岚天逸见阅读(231) 评论(0) 推荐(0)

摘要： C++11已支持bind和function，之前的不支持，但可以借助boost达到同样目的。看如下两段代码： 1) 创建HDFS目录void hdfs::init(){ if (0 == hdfsExists(fs, data_dirpath.c_str()))... 阅读全文

posted @ 2014-05-08 13:07 岚天逸见阅读(235) 评论(0) 推荐(0)

摘要： loadFileSystems error & ExceptionUtils错误原因分析一见 2014/5/7 C/C++程序通过hdfs.h访问HDFS，运行时遇到如下错误，会是什么原因了？（注：hadoop安装在/data/hadoop/hadoop-2.4.0，... 阅读全文

posted @ 2014-05-07 20:09 岚天逸见阅读(605) 评论(0) 推荐(0)

摘要： “undefined reference to JNI_GetCreatedJavaVM”和“File format not recognized”错误原因分析如果编译时，报如下所示错误：../../third-party/hadoop/lib/libhdfs.a(j... 阅读全文

posted @ 2014-05-06 16:16 岚天逸见阅读(567) 评论(0) 推荐(0)

摘要： # 本文可以从https://sourceware.org/ml/gdb/2008-02/msg00064/stl-views.gdb直接下载# 有关gdb的高级使用，请浏览：http://blog.csdn.net/Aquester/article/details/... 阅读全文

posted @ 2014-05-02 18:56 岚天逸见阅读(405) 评论(0) 推荐(0)

摘要： CThriftServerHelper用于服务端，CThriftClientHelper用于客户端。IDL定义：service PackageManagerService{}服务端使用示例：CThriftServerHelper _thrift_server_help... 阅读全文

posted @ 2014-05-02 17:01 岚天逸见阅读(231) 评论(0) 推荐(0)

摘要： Linux上获取CPU Core个数的实现可以通过多种手段取得CPU Core的个数，如：1) 调用系统提供的函数get_nprocs()，可以在头文件sys/sysinfo.h中发现它2) 借助系统提供的sysconf()函数：sysconf(_SC_NPROCE... 阅读全文

posted @ 2014-05-02 16:39 岚天逸见阅读(844) 评论(0) 推荐(0)

摘要： string是C++标准定义的字符串类，它不但支持文本，而且支持二进制字节流。给一个string变量赋值有多种方法：1) 拷贝构造函数2) 等号赋值函数3) append成员函数4) push_back成员函数5) insert成员函数请运行下段代码，并查看它的输出... 阅读全文

posted @ 2014-05-02 10:42 岚天逸见阅读(900) 评论(0) 推荐(0)