摘要: 对Hadoop前前后后看了更多的设计之后突然碰到这个问题,简单的写写自己的理解。 MPI MPI(Message Passing Interface)一般和GPU一起作为高性能计算技术的重要组成部分。MPI本身只是一种分布式计算的协议,有OpenMPI、MPICH、MSMPI等实现。协议本身定义了很 阅读全文
posted @ 2022-06-17 15:54 extendswind 阅读(429) 评论(0) 推荐(0) 编辑
摘要: 最近参加的面试,一面问了HDFS写文件流程,完了之后把《Hadoop权威指南》上的流程配合源码简单的看了一遍。二面又问到了这个问题,一些细节还是漏了,对这部分还是专门记个笔记吧。稍微梳理了一下,发现感觉这个问题确实太适合作为面试题了,有细节还适合引申到其它的点。 写数据流程 大体流程如图(来自《Ha 阅读全文
posted @ 2022-06-17 15:53 extendswind 阅读(205) 评论(0) 推荐(0) 编辑
摘要: 虚函数表是C++面试常考问题之一了,看了下《深度探索C++对象模型》,个人感觉了解虚函数表对理解C++对象在内存中的存储有一定帮助,但是对提高代码质量的意义貌似仅仅在于关注对象中虚函数指针的存在。 面向对象中的多态与运行时捆绑 多态 多态是面向对象编程的基本特征之一,在C++中表现为通过虚函数和继承 阅读全文
posted @ 2022-06-17 15:52 extendswind 阅读(87) 评论(0) 推荐(0) 编辑
摘要: 写一下Hive源码中执行SQL的SELECT语句的简单执行流程,手头没有具体的环境进调试模式,只根据源码写写大概的处理流程。 总体上从beeline脚本执行,调用了类Beeline.java,将终端的命令读入后通过rpc发送给driver处理。driver调用SemanticAnalyzer将SQL 阅读全文
posted @ 2022-06-17 15:52 extendswind 阅读(425) 评论(0) 推荐(0) 编辑
摘要: 解决方案: sudo pacman -S sip4 sip库的默认版本比较新,/usr/bin/sip文件在sip4库中。(估计是旧版和新版的sip使用方式不一样吧,sip4的包里是sip可执行文件和一个头文件,默认安装的sip包是python的包。) # sip包中的文件: sip /usr/bi 阅读全文
posted @ 2022-06-17 15:51 extendswind 阅读(122) 评论(0) 推荐(0) 编辑