摘要： 1、iostat[oracle@orastb log]$ iostatLinux 3.10.0-327.el7.x86_64 (orastb.bonc.com.cn) 09/07/2017 _x86_64_ (32 CPU) avg-cpu: %user %nice %system %iowait 阅读全文

摘要： 每个文件按块方式存储, 每个块的元数据存储在namenode的内存中 Hadoop存档文件或HAR文件是一个更高效的文件存档工具,它将文件存入HDFS块,在减少内存使用的同时,允许对文件进行透明地访问 Hadoop存档文件可以用作MapReduce的输入 使用Hadoop存档工具 Hadoop存档是 阅读全文

摘要： 概述 distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 由于使用了Map/Reduce方法，这个工具在语义和执行上都会有特殊的 阅读全文

摘要： 文件是如何写入HDFS的 ？ 下面我们来先看看下面的“写”流程图： 假如我们有一个文件test.txt，想要把它放到Hadoop上，执行如下命令： 引用 # hadoop fs -put /usr/bigdata/dataset/input/20130706/test.txt /opt/bigdat 阅读全文

摘要： 我们在进程中要怎样去描述一个文件呢？我们用目录项(dentry)和索引节点(inode)。它们的定义如下: 所谓"文件", 就是按一定的形式存储在介质上的信息，所以一个文件其实包含了两方面的信息，一是存储的数据本身，二是有关该文件的组织和管理的信息。在内存中, 每个文件都有一个dentry(目录项) 阅读全文

摘要： 在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在单点故障（single point of failure），每一个集群中存在一个NameNode，如果NN所在的机器出现了故障，那么将导致整个集群无法利用，直到NN重启或者在另一台主机上启动NN守护线程。 主要在两方面影响了H 阅读全文

摘要： 一、VRRP简介 虚拟路由冗余协议VRRP（Virtual Router Redundancy Protocol）通过把几台路由设备联合组成一台虚拟的路由设备，将虚拟路由设备的IP地址作为用户的默认网关实现与外部网络通信。当网关设备发生故障时，VRRP机制能够选举新的网关设备承担数据流量，从而保障网 阅读全文

摘要： 1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce，hadoop2.0还包括YARN。 下图为hadoop的生态系统： 2、HDFS（Hadoop分布式文件系统） 源自于Google 阅读全文

摘要： 业务处理中，很多时候使用实表临时表处理中间结果，而实表的Insert操作缺省会记录redo log，针对此问题收集相关测试总结信息如下： 【转】 常见dml、ddl语句使用nologging选项所生成的redo和undo大小比较 DDL/DML Operations Direct-path nolo 阅读全文

摘要： select t.SQL_TEXT, t.SQL_FULLTEXT, t.ELAPSED_TIME, t.LAST_LOAD_TIME, t.* from v$sql t where t.LAST_LOAD_TIME > to_char(sysdate - 10/(24*60), 'yyyy-mm- 阅读全文