06 2012 档案
摘要：Hive 的官方文档中对查询语言有了很详细的描述，请参考：http://wiki.apache.org/hadoop/Hive/LanguageManual ，本文的内容大部分翻译自该页面，期间加入了一些在使用过程中需要注意到的事项。Create TableCREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COM...
阅读全文
摘要：本来想讲自己用到的写出来了,结果发现一个比较全面的文章已经介绍过了,那我就不在重新发明轮子了,我也跟着学习一下。 转自：http://jeffxie.blog.51cto.com/1365360/317524 DDL Operations 创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表 hive> SHOW TABLES; 按正条件
阅读全文
摘要：有一位同事美丽而又文静，说话语速总是慢慢的，音量总是小小的，但很能说到人的心底里去，你不知自己是什么时候被她看穿的。她的业绩说不上骄人，但也无可挑剔；她嫁了相爱的普通人，日子过得波澜不惊；她不要求孩子学这学那，双休日一家三口就去游玩；她每天都要午睡，每天都做健美操，生活很有规律；她从不嫉妒荣誉加身的同事也从不鄙薄偶犯错误的同事，只对势利小人冷眼旁观，却也不恼，她觉得他们不会有好的心态与好的结局。她心明如镜绝顶聪明，与周围一些拚尽全力却活得七上八下不尽如意的人相比，我总觉得她的人生本来还可以更为出彩，而她没有去做。有一个非常难得的机会我们两两相对，她说起她父亲的一句话奠定了她的人生，读初中时她体
阅读全文
摘要：男人的魅力，是一种返璞归真的真诚，是一种曾经沧海的宽容，是一种厚积薄发的人生积淀，是一种和睦良善的处世观点，是一种健康爽朗的卓然不群。 上等男人魅力如酒，醇厚悠长，越喝越有滋味。 中等男人魅力如蔗，嚼过了，吮吸的是甘甜，吐出的是残渣。 下等男人魅力如画片，看上去很美，败絮其中。 英雄型男人的魅力在于，无所畏惧，敢做敢当，以天下为己任，建功立业，是树中之苍松。做英雄，就义无反顾。是面对挫折的百折不饶，绝不气馁，直至成功。 潇洒型男人的魅力在于，无所羁绊，鹤立独行，纵情于山水，淡泊利禄，是树中之秀竹。要潇洒，就形如清风，潇洒个极致，去捕风逐月，浪迹天涯，四海高歌。 沉默但目光专注地...
阅读全文
摘要：人的情感总是希望有所得，以为拥有的东西越多，自己就会越快乐。所以，这一人之常情就迫使我们沿着追寻获取的路走下去。可是，有一天，我们忽然惊觉：我们的忧郁、无聊、困惑、无奈、一切不快乐，都和我们的要求有关，我们之所以不快乐，是我们渴望拥有的东西太多了，或者，太执着了，不知不觉，我们已经执迷于某个事物上了。 譬如说，你爱上了一个人，而他(她)却不爱你，你的世界就微缩在对他(她)的感情上了，他(她)的一举手、一投足，都能吸引你的注意力，都能成为你快乐和痛苦的源泉。有时候，你明明知道那不是你的，却想去强求，或可能出于盲目自信，或过于相信精诚所至、金石为开，结果不断地努力，却遭来不断的挫折。有的靠缘分，.
阅读全文
摘要：link：http://landyer.iteye.com/blog/1070546很多时候，我们在hive中执行select语句，希望将最终的结果保存到本地文件或者保存到hdfs系统中或者保存到一个新的表中，hive提供了方便的关键词，来实现上面所述的功能。1.将select的结果放到一个的的表格中（首先要用create table创建新的表格）insert overwrite table testselect uid,name from test2;2.将select的结果放到本地文件系统中INSERT OVERWRITE LOCAL DIRECTORY '/tmp/reg_3&#
阅读全文
摘要：hive有textFile,SequenceFile,RCFile三种文件格式。其中textfile为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。SequenceFile,RCFile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的表中，然后再从textfile表中用insert导入到SequenceFile,RCFile表中。写道create table zone0000tf(ra int, dec int, mag int) row format delimited fields terminated by '
阅读全文
摘要：link:http://blog.csdn.net/xqy1522/article/details/6699740今天遇到一个hive的问题，如下hive sql：select f.a,f.b from A t join B f on ( f.a=t.a and f.ftime=20110802)该语句中B表有30亿行记录，A表只有100行记录，而且B表中数据倾斜特别严重，有一个key上有15亿行记录，在运行过程中特别的慢，而且在reduece的过程中遇有内存不够而报错。为了解决用户的这个问题，考虑使用mapjoin,mapjoin的原理：MAPJION会把小表全部读入内存中，在map阶段直接
阅读全文
摘要：几个常用用例：一、备份数据库：（命令在DOS的mysql/bin目录下执行）mysqldump --opt school>school.bbb注释:将数据库school备份到school.bbb文件，school.bbb是一个文本文件，文件名任取，打开看看你会有新发现。1.导出整个数据库mysqldump -u 用户名 -p 数据库名 > 导出的文件名mysqldump -u root -p aikersql> aiker.sql2.导出一个表mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名mysqldump -u aiker -p aikersq
阅读全文
摘要：一直以来我都不是一个喜欢看传记的人，读他人的传记，无论是自传还是他人为专主立传，都免不得有溢美之辞，却失却了历史的客观。而性格慵懒如我之人，也是特别不待见去读那些成功学之类的东西，也不指望自己能够从那些成功的伟人身上学到点什么改编人生的品质。读这本《巴菲特传》究其原因，还是因为在投资类书籍的推荐之列，特别在读了关于彼特林奇的《战胜华尔街》之后，这本《一个美国资本家的成长》可以作为一本很好了解价值投资理念的书来读。随着这么多年下来，自己的投资价值观开始向价值投资方向转变。 巴菲特传的作者应该说文笔相当娴熟，至少在商业领域没有写的太过看不懂的地方，当然做投资赚大钱并不是这本《巴菲特传》的...
阅读全文
摘要：问题记录警告：12/06/05 11:41:14 WARN balancer.Balancer: Error moving block 3710738876831042736 from 10.10.202.4:50010 to 10.10.202.14:50010 through 10.10.202.4:50010: block move is failedError moving block
阅读全文
摘要：在要balance的slave执行：start-balancer.sh -threshold 10或 ./hadoop balancer -threshold 10由于hadoop集群的机器磁盘容量大小不等，造成磁盘使用率不同，有的使用了10%，而有的已经100%，这个对整个系统的运行是有问题的。暂时还没有找到控制磁盘使用率的参数，可以通过hadoop命令行来手动调节磁盘的使用情况。> hadoop balancer -Threshold 20或者 sh $HADOOP_HOME/bin/start-balancer.sh –t 20%参数20是比例参数，表示20%，也就是平各个Data
阅读全文
浙公网安备 33010602011771号