虚怀若谷

摘要： hive 添加列要添加到最后，如果添加在中间，则添加列后面的列数据会丢失。——2012/08/16hive 添加列a,访问历史数据a全为null，遇到一个奇怪的问题：分区daytime=2013-12-16已经存在，用load data将数据加载进分区daytime=2013-12-16,select * from tb where daytime='2013-12-16' and a is not null limit 10;结果为空；查hdfs发现daytime='2013-12-16'下对应的文件中a是有值的；新建一张通用的表load data ，字段a有 阅读全文

摘要： hive 更改表名后，java程序执行hivesql出错，提示找不到partition；解决方法：重启hivethrift：1）kill pid （kill掉hive进程）2）$HIVE_HOME/bin/hive --service hiveserver 10001 >/dev/null 2>/dev/null &原来hivethrift应该有老表的缓存信息。 阅读全文

摘要： hive默认查询不会显示列名， 当一个表字段比较多的时候，往往看不出值与列之间的对应关系，对日常查错及定位问题带来不便，应同事要求，看了HIVE CLI源码，做了下些许调整， 加入列头打印及行转列显示功能未开启行转列功能之前:hive>>> select * from example_table where dt='2012-03-31-02' limit 2;OK1333133185 0cf49387a23d9cec25da3d76d6988546 3CD5E9A1721861AE6688260ED26206C2 guanwang 1.1 3d3b0a5ec 阅读全文

摘要： http://hadoop.apache.org/common/docs/r1.0.3/commands_manual.html 阅读全文

摘要： link：http://blog.csdn.net/ae86_fc/article/details/5284252最近集群里出现了这样的情况：tasktracker机器，由于运行 了过多的task (map/reduce)，导致该机器上的内存 严重 overload，产生大量swap，最终导致任何命令 都无法得到相应，机器挂掉。连ssh都无法得到相应，只能通知机房的同事重启机器。究其原因，其实很简单:就是因为集群中机器配置的可并行的map和reduce数加起来，超过了机器的cpu数，导致在极限的情况下，会有 6个map，6个reduce的task java 进程运行在这台slave上有些job 阅读全文

摘要： 由於 Hive 經驗不多，大致上只能建議您往幾個方向去查：1. 使用 EXPLAIN 指令，查看Hive 對 HQL 的解析情況代碼:explain extended <HQL 語法>2. 嘗試使用 SUBQUERY 搭配 EXPLAIN 看解析出來的 MapReduce 邏輯有無不同SELECT COUNT(A.name) FROM ( SELECT A.name FROM A JOIN B ON (A.name = B.name) )3. 採用不同的 SerDe （SequenceFile , RCFile , .....) ：也許會因為資料特性不同而有加速效果。 阅读全文

摘要： link：http://www.cnblogs.com/benio/archive/2010/10/13/1849946.html当磁盘大小超过标准时会有报警提示，这时如果掌握df和du命令是非常明智的选择。df可以查看一级文件夹大小、使用比例、档案系统及其挂入点，但对文件却无能为力。du可以查看文件及文件夹的大小。两者配合使用，非常有效。比如用df查看哪个一级目录过大，然后用df查看文件夹或文件的大小，如此便可迅速确定症结。下面分别简要介绍df命令可以显示目前所有文件系统的可用空间及使用情形，请看下列这个例子：以下是代码片段：[yayug@yayu ~]$ df -hFilesystem S 阅读全文

摘要： link：http://blog.csdn.net/ae86_fc/article/details/5284282当launch一个job到hadoop 集群，hadoop集群中的 TaskTracker（TT），在从一次heartbeat中接收到 JobTracker（JT）的cmd后，TT会在自己本地机器上运行一些task进程，以完成这个job的某些部分的数据 处理。在task运行过程中，或者 运行完成后，总是会或多或少的产生一些中间结果，或者jobCache的数据，这些数据通常都需要向TT的本地文件 系统 中写，写这些数据的目录是通过 hadoop的TT进程启动时在 hadoop-sit 阅读全文

摘要： 添加列：ALTER TABLE `users` ADD `username` TEXT NOT NULL ,设置列默认值：alter table 表名 modify 字段 类型 default 默认值alter table LogDataOutput_Task modify CommitLines int default 0; 阅读全文

摘要： 1、 要有质朴清纯的性格。很显然，没有一定的诗人气质的人纵使被大雨淋透也体会不出浪漫来。这种性格是自然而然依天性而成的，追功逐利，虚情假意只能削弱这种天性。 2、浪漫的行为不是刻意追求所能得到的。这是一种很美好的心境，一种很美好的形象，只有对诗情画意敏感的人才能体会到。对自然，对人，对事物深深地喜欢、用心爱着的时候，往往会悄然升起这种感受。刻意模仿别人，那不是源于自然，所以很难体会到这种心境。浪漫纯乎是一种灵性的浮现。 3、提高自己的艺术欣赏能力，增加对美的体会能力，可以使自己更易体验到美好的心境。诗人、艺术家、文学家中多浪漫人物，与他们本人的艺术修养有很大关系。 由此看来，勿须抱怨... 阅读全文