摘要：
测试环境，系统信息$uname-aLinux10.**.**.152.6.32-220.17.1.tb619.el6.x86_64#1SMPFriJun813:48:13CST2012x86_64x86_64x86_64GNU/Linuxhadoop和hbase版本信息：hadoop-0.20.2-cdh3u4hbase-0.90-adh1u7.110.**.**.12NFSServer端，提供NFS服务10.**.**.15作为HDFSNameNode挂载10.**.**.12NFS共享目录以ganglia-5.rpm作为文件操作对象，大小在3m左右。hadoop/conf/hdfs-sit 阅读全文
摘要：
Hive 并发模型使用案例并发支持 (http://issues.apache.org/jira/browse/HIVE-1293) 是数据库的必须,而且他们的使用案例很好懂。至少，我们要尽可能支持并发读和写。添加几个发现当前已经锁定的锁，是有用的。这里没有一个直接的需求添加一个API显式获取锁，所以，所有锁都是隐式获取的。hive定义一下模式的锁(注意不需要意向锁)共享 (S)排他 (X)见名知意，多个共享锁可以同时获取，而排他锁会阻塞其他锁。兼容性列表如下：*Existing LockSXRequested Lock***S*TrueFalseX*FalseFalse对于一些操作，锁的性质 阅读全文
摘要：
虚拟列Hive 0.8.0支持两个虚拟列:INPUT__FILE__NAME, mapper任务的输出文件名。BLOCK__OFFSET__INSIDE__FILE, 当前全局文件的偏移量。对于块压缩文件，就是当前块的文件偏移量，即当前块的第一个字节在文件中的偏移量。简单例子select INPUT__FILE__NAME, key, BLOCK__OFFSET__INSIDE__FILE from src;select key, count(INPUT__FILE__NAME) from src group by key order by key;select * from src wher 阅读全文
摘要：
EXPLAIN语法Hive提供EXPLAIN命令，显示查询的执行计划。语法如下：EXPLAIN [EXTENDED] queryEXPLAIN语句使用EXTENDED，提供执行计划关于操作的额外的信息。这是典型的物理信息，如文件名。Hive查询被转换成序列（这是一个有向无环图）阶段。这些阶段可能是mapper/reducer阶段，或者做metastore或文件系统的操作，如移动和重命名的阶段。 EXPLAIN的输出包括三个部分：查询的抽象语法树执行计划计划的不同阶段之间的依赖关系每个场景的描述场景的描述，显示了与元数据相关操作的操作序列。元数据会包括FilterOperator的过滤器表达式， 阅读全文
摘要：
子查询语法SELECT ... FROM (subquery) name ...Hive只在FROM字句支持子查询。子查询必须给一个名字，因为每个表在FROM字句必须有一个名字。子查询的查询列表的列，必须有唯一的名字。子查询的查询列表，在外面的查询是可用的，就像表的列。子查询也可以一个UNION查询表达式.Hive支持任意层次的子查询。简单子查询的例子：SELECT col FROM ( SELECT a+b AS col FROM t1) t2包含UNION ALL的子查询例子：SELECT t3.col FROM ( SELECT a+b AS col FROM t1 UNIO... 阅读全文
摘要：
Union 语法select_statement UNION ALL select_statement UNION ALL select_statement ...UNION用于联合多个SELECT语句的结果集，合并为一个独立的结果集。当前只能支持UNION ALL(bag union)。不消除重复行。每个select语句返回的列的数量和名字必须一样，否则，一个语法错误会被抛出。如果必须对UNION的结果做一些额外的处理，整个语句可以被嵌入在FROM子句中，象下面这样SELECT *FROM ( select_statement UNION ALL select_statement) un.. 阅读全文
摘要：
Join语法hive表连接支持的语法如下：join_table: table_reference JOIN table_factor [join_condition] | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition | table_reference LEFT SEMI JOIN table_reference join_condition | table_reference CROSS JOIN table_reference [join_condition] (as ... 阅读全文
摘要：
linux查看系统的硬件信息，并不像windows那么直观，这里我罗列了查看系统信息的实用命令，并做了分类，实例解说。cpulscpu命令，查看的是cpu的统计信息.blue@blue-pc:~$ lscpuArchitecture: i686 #cpu架构CPU op-mode(s): 32-bit, 64-bitByte Order: Little Endian #小尾序CPU(s): 4 #总共有4核On-line CPU(s) list: 0-3... 阅读全文
摘要：
介绍Linux下的IO统计工具如iostat, nmon等大多数是只能统计到per设备的读写情况, 如果你想知道每个进程是如何使用IO的就比较麻烦.iotop 是一个用来监视磁盘 I/O 使用状况的 top 类工具。iotop 具有与 top 相似的 UI，其中包括 PID、用户、I/O、进程等相关信息。实例直接运行就好iotop输出如下Total DISK READ: 6.01 M/s | Total DISK WRITE: 3.85 K/s TID PRIO USER DISK READ DISK WRITE SWAPIN IO> C... 阅读全文
摘要：
ifstat介绍ifstat工具是个网络接口监测工具,比较简单看网络流量实例默认使用#ifstat eth0 eth1 KB/s in KB/s out KB/s in KB/s out 0.07 0.20 0.00 0.00 0.07 0.15 0.58 0.00默认ifstat不监控回环接口，显示的流量单位是KB。监控所有网络接口# ifstat -a lo eth0 eth1 ... 阅读全文