岚天逸见

Linux后台开发常用工具

摘要： sed单引号替换（特殊字符需要使用反斜线”\”进行转义）sed 's/原字符串/替换字符串/'sed双引号替换sed "s/原字符串包含'/替换字符串包含'/" sed问号替换sed 's?原字符串?替换字符串?'sed可同时执行多个替换，不同替换间使用分号分开，如果... 阅读全文

posted @ 2016-11-04 10:31 岚天逸见阅读(707) 评论(0) 推荐(0)

摘要： 1) 配置HDFS HttpFS和WebHDFS如果HDFS是HA方式部署的，则只能使用HttpFS，而不能用WebHDFS。2) 安装依赖：apr-iconv-1.2.1confuse-3.0apr-util-1.5.4libpng-1.6.26apr-1.5.2 ... 阅读全文

posted @ 2016-10-28 18:16 岚天逸见阅读(537) 评论(0) 推荐(0)

摘要： HDFS支持两种RESTful接口：WebHDFS和HttpFS。WebHDFS默认端口号为50070，HttpFS默认端口号为14000。默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。WebHDFS模式客户端... 阅读全文

posted @ 2016-10-28 18:15 岚天逸见阅读(3003) 评论(0) 推荐(0)

摘要：目录目录 11. 约定 12. 安装jdk 13. 安装maven 14. 网络配置 24.1. eclipse 34.2. maven 35. 从hbase官网下载源代码包： 46. eclipse导入hbase源代码 47. 编译hbase-thrift 68. ... 阅读全文

posted @ 2016-10-25 17:26 岚天逸见阅读(675) 评论(0) 推荐(0)

摘要：如果在运行spark-sql时遇到如下这样的错误，可能是因为yarn-site.xml中的配置项yarn.nodemanager.vmem-pmem-ratio值偏小，它的默认值为2.1，可以尝试改大一点再试。ERROR cluster.YarnClientSche... 阅读全文

posted @ 2016-10-13 11:01 岚天逸见阅读(962) 评论(0) 推荐(0)

摘要：优点：可支持海量访问的频率控制，只需要增加Redis机器，单个Redis节点（只占用一个cpu core）即可支持10万/s以上的处理。基于IP频率限制是种常见需求，基于Redis可以十分简单实现对IP的频率限制，具体手段为利用Redis的key过期和原子加减两个特性... 阅读全文

posted @ 2016-09-08 00:08 岚天逸见阅读(469) 评论(0) 推荐(0)

摘要： #include #include #include // g++ -g -o x x.cpp -D__STDC_FORMAT_MACROS -std=c++11int main(){ int64_t a = 32; //printf("%... 阅读全文

posted @ 2016-08-25 13:28 岚天逸见阅读(3341) 评论(0) 推荐(0)

摘要： # 相关链接：https://cmake.org/cmake/help/v3.0/module/CheckCXXCompilerFlag.htmlinclude(CheckCXXCompilerFlag)CHECK_CXX_COMPILER_FLAG("-std=... 阅读全文

posted @ 2016-08-25 13:02 岚天逸见阅读(2064) 评论(0) 推荐(0)

摘要：用于分析指定进程是否存在内存泄漏，使用ps等命令统计开销相对较大，直接读取/proc文件系统则高效许多。格式（利用了awk给外部变量赋值，请参考博文http://blog.chinaunix.net/uid-20682147-id-3024853.html）：eval... 阅读全文

posted @ 2016-07-11 11:43 岚天逸见阅读(367) 评论(0) 推荐(0)

摘要：除非明确说明，本文内容仅针对x86/x86_64的Linux开发环境，有朋友说baidu不到，开个贴记录一下（加粗字体是关键词）：用“-Wl,-Bstatic”指定链接静态库，使用“-Wl,-Bdynamic”指定链接共享库，使用示例：-Wl,-Bstatic -lm... 阅读全文

posted @ 2016-07-08 15:44 岚天逸见阅读(3188) 评论(0) 推荐(0)