岚天逸见

安装hue-3.11.0

摘要： 1) 配置HDFS HttpFS和WebHDFS如果HDFS是HA方式部署的，则只能使用HttpFS，而不能用WebHDFS。2) 安装依赖：apr-iconv-1.2.1confuse-3.0apr-util-1.5.4libpng-1.6.26apr-1.5.2 ... 阅读全文

posted @ 2016-10-28 18:16 岚天逸见阅读(541) 评论(0) 推荐(0)

摘要： HDFS支持两种RESTful接口：WebHDFS和HttpFS。WebHDFS默认端口号为50070，HttpFS默认端口号为14000。默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。WebHDFS模式客户端... 阅读全文

posted @ 2016-10-28 18:15 岚天逸见阅读(3011) 评论(0) 推荐(0)

摘要：目录目录 11. 约定 12. 安装jdk 13. 安装maven 14. 网络配置 24.1. eclipse 34.2. maven 35. 从hbase官网下载源代码包： 46. eclipse导入hbase源代码 47. 编译hbase-thrift 68. ... 阅读全文

posted @ 2016-10-25 17:26 岚天逸见阅读(682) 评论(0) 推荐(0)

摘要：如果在运行spark-sql时遇到如下这样的错误，可能是因为yarn-site.xml中的配置项yarn.nodemanager.vmem-pmem-ratio值偏小，它的默认值为2.1，可以尝试改大一点再试。ERROR cluster.YarnClientSche... 阅读全文

posted @ 2016-10-13 11:01 岚天逸见阅读(964) 评论(0) 推荐(0)

摘要：优点：可支持海量访问的频率控制，只需要增加Redis机器，单个Redis节点（只占用一个cpu core）即可支持10万/s以上的处理。基于IP频率限制是种常见需求，基于Redis可以十分简单实现对IP的频率限制，具体手段为利用Redis的key过期和原子加减两个特性... 阅读全文

posted @ 2016-09-08 00:08 岚天逸见阅读(471) 评论(0) 推荐(0)

摘要： #include #include #include // g++ -g -o x x.cpp -D__STDC_FORMAT_MACROS -std=c++11int main(){ int64_t a = 32; //printf("%... 阅读全文

posted @ 2016-08-25 13:28 岚天逸见阅读(3345) 评论(0) 推荐(0)

摘要： # 相关链接：https://cmake.org/cmake/help/v3.0/module/CheckCXXCompilerFlag.htmlinclude(CheckCXXCompilerFlag)CHECK_CXX_COMPILER_FLAG("-std=... 阅读全文

posted @ 2016-08-25 13:02 岚天逸见阅读(2065) 评论(0) 推荐(0)

摘要：用于分析指定进程是否存在内存泄漏，使用ps等命令统计开销相对较大，直接读取/proc文件系统则高效许多。格式（利用了awk给外部变量赋值，请参考博文http://blog.chinaunix.net/uid-20682147-id-3024853.html）：eval... 阅读全文

posted @ 2016-07-11 11:43 岚天逸见阅读(375) 评论(0) 推荐(0)

摘要：除非明确说明，本文内容仅针对x86/x86_64的Linux开发环境，有朋友说baidu不到，开个贴记录一下（加粗字体是关键词）：用“-Wl,-Bstatic”指定链接静态库，使用“-Wl,-Bdynamic”指定链接共享库，使用示例：-Wl,-Bstatic -lm... 阅读全文

posted @ 2016-07-08 15:44 岚天逸见阅读(3231) 评论(0) 推荐(0)

摘要：如果同时配置写AOF和RDB两种文件，但在redis启动时，只会加载AOF，除非配置只写RDB，才会加载RDB文件，也因此AOF文件必须是全量数据，所以会越来越大，这缺点也将是redis优化的一个方向，即AOF只保存相对于RDB的增量，这样AOF文件将大大减小。相关源... 阅读全文

posted @ 2016-06-08 17:55 岚天逸见阅读(791) 评论(0) 推荐(0)