摘要： 集群的时间同步(使用插件使从机和主机时间一致) 集群保障时间一致 共有3个方法 1.手工的改 date –s “2016-01-05” 2.启动service NTP 3.基于实体机 7*24 不关机 用脚本在规定时间同步 达到时间同步完美 我这里只使用插件的方法，使从机和主机时间同步。。。。。。。 阅读全文

摘要： Hadoop 日志服务器 1.历史服务器： 启动： 1）测试使用： 1.做一个任务： 2.接受任务： 3.执行任务： 4.执行任务完成： 2）日志文件产生： 成功后： 失败后： 点击进入History,查看日志报错 3）页面： 只能记录以java开发程序。 2.ApplicationHistoryS 阅读全文

摘要： Hadoop 桥接群的搭建 集群分配：(一主四从) 我电脑的虚拟机：hadoop4:namenode+datanode+resourceManager 我one-friend的电脑虚拟机：hml-1:datanode+datamanager 我two-friend的电脑虚拟机：hadoop_yu1: 阅读全文

摘要： HDFS - Shell命令 最近学习比较忙，本来想做一个搭建集群笔记，今天先记录HDFS-shell命令，明天，最迟明天下午我一定会做一个搭建集群的笔记。。 介绍一个我的集群搭建：一主三从 3个虚拟机： 1. hadoop1:主+从 namenode+datanode+resourceMarage 阅读全文

摘要： 虚拟机类加载机制 加载: 1）通过一个类的全限定名来获取定义此类的二进制字节流。 2）将这个字节流所代表的静态存储结构转化为方法区的运行时数据结构 3）在内存中生成一个代表这个类的java.lang.Class对象，作为方法区对这个类的各种数据的访问入口 验证： 1）文件格式验证 2）元数据验证： 阅读全文

摘要： Hadoop 集群的搭建 我有一个虚拟机是用来克隆的，里面设置了java环境，开启不启动防火墙的配置。 准备： 1.我的3个虚拟机： hu_hadoop1(主+从):nameNode+dataNode+ResouceManager hu_hadoop2(从):dataNode+nodeManager 阅读全文

摘要： YARN Hadoop三大核心 mapreduce负责分布式计算 HDFS : 负责分布式文件管理，副本机制，机架策略（需要让Hadoop感知交换机）读流长，写流程，日志文件和镜像文件 主从模式单点故障模式 YARN : 负责分布式资源管理 1.客户端携带的jar就去找ResourceManage计 阅读全文

摘要： 垃圾收集算法 1.标记 - 清除算法（Mark-Sweep） 注意：在这个算法中的不足 1.效率问题，标记和清除两个过程的效率都不高， 2.另一个是空间问题，标记清除后会产生大量的不连续的内存碎片，空间内存碎片太多可能导致一户在程序运行过程中需要分配较大的对象时，无法找到足够的连续的内存而不得不提前 阅读全文

摘要： Hadoop HDFS HDFS 性能详解 HDFS 天生是为大规模数据存储与计算服务的，而对大规模数据的处理目前还有没比较稳妥的解决方案。 HDFS 将将要存储的大文件进行分割，分割到既定的存储块(Block)中进行了存储，并通过本地设定的任务节点进行预处理，从而解决对大文件存储与计算的需求。在实 阅读全文

摘要： Hadoop 目录结构介绍 1.Hadoop目录结构 1.一级目录介绍 2.etc详解： 3sbin 4.bin 5.share 6.一个数独测试 2.hadoop的历史 3. Hadoop的作用 1.数据分析功能 数据分析能力是大数据平台的建设重心，也是大数据分析工具的存在意义。大数据分析平台的数 阅读全文