摘要： 1、概念：docker是一个开源的应用容器引擎,docker可以让开发者打包他们的应用以及依赖环境包到一个轻量级、可移值的容器中。然后发布到任何流行的linux机器上。 安装过程： 1、yum包更新到最新 yum update 2、安装需要的软件包 yum install -y yum-utils 阅读全文

摘要： 一、概念 Java是编译与解释共存的语言，简单来说，字节码文件通过解释器进行一行一行解释执行，当虚拟机发现某个方法或代码块的运行特别频繁，就会把这些代码认定为“热点代码”（Hot Spot Code），在运行时，虚拟机将会把这些代码编译成本地机器码。因此被称为“即时编译”(即JIT)，热点代码的本地 阅读全文

摘要： 一、大致流程 Datanode宕机了后，如果是短暂的宕机，可以实现写好脚本监控，将它启动起来。如果是长时间宕机了，那么datanode上的数据应该已经被备份到其他机器了，那这台datanode就是一台新的datanode了，删除他的所有数据文件和状态文件，重新启动。 二、详细流程 总体上涉及了心跳检 阅读全文

摘要： 一、HDFS读流程 1、client跟namenode通信查询元数据，找到文件块block所在的datanode服务器 2、挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流 3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验，大小为6 阅读全文

摘要： Hadoop部署详细步骤 阅读全文

摘要： 问题产生： 作者最近在搭建Hadoop+Hive集群时，将NameNode、DataNode、Rm全部部署到一台物理机上，查询量较大时连接挂掉。 问题定位： 使用JPS命令查看Metastore服务正常运行，hive2--Runjar挂掉。重启之后，过段时间又会挂掉。 Linux 内核有个机制叫OO 阅读全文