虚怀若谷

摘要： link：http://blog.csdn.net/cwchenwu88/article/details/7314350我使用的是eclipse 3.7，开始使用的插件是hadoop-0.20.2文件夹下/contrib下的eclipse插件hadoop-0.20.2-eclipse-plugin.jar，配置完eclipse后，出现了run on hadoop没反应，后来看了网上一篇文章：http://hi.baidu.com/laxinicer/blog/item/fbaddaf58bdae63fbc3109a0.html下载了hadoop-0.20.3-dev-eclipse-plugi 阅读全文

摘要： 获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。2.浏览apache官网,三个配置文件链接如下: ht 阅读全文

摘要： FileInputFormat.addInputPath(Job job, Path path)用于设定hadoop的输入文件路径，path可以指定具体的文件，也可以指定文件目录，当指定文件目录时，hadoop会遍历该目录下的所有文件，但遍历不是递归的，即只遍历该目录当下的文件。如果该目录下含有目录会输出异常信息，此时reduce便不会执行，job便被视为failed，但在该子目录名称以“_”开头时，便不会输出异常，hadoop会自动忽略以“_”开头的文件夹。同理，在指定的为目录的情况下，如果有文件名以“_”开头的文件，hadoop也会将其忽略。 阅读全文

摘要： 第一部分：职业化心态力——职业人的精神食粮 1.阳光心态——每个人都有选择快乐的权利 ◆ 烽火猎聘成功者将挫折、困难归因于个人能力、经验的不完善，强调内在，他们乐意不断地向好的方向改进和发展。 ◆ 失败者怪罪于机遇、环境的不公，强调外在的因素造就了他们的人生位置，他们总是抱怨、等待与放弃。 ◆ 阳光心态不是得意的心态，而是一种不骄不躁、处乱不惊的平常心态。 2.共赢心态——个人完不成的事业，团队可以完成 ◆ 团队协作的收获往往要超过团队各成员单独努力所获的简单累加，超出的部分就是协作的超值回报。 ◆ 共赢的本质就是共同创造、共同进步，共赢是团队的内在气质。 ◆ 共赢强调发挥优势... 阅读全文

摘要： 表达能力还需加强，有时候说话不能表达内心真实的想法，或者前言不搭后语，逻辑完全不行。 阅读全文

摘要： Ubuntu网卡基本配置： 一、设置IP和网关 (1) 配置eth0的IP地址， 同时激活该设备 #sudo ifconfig eth0 192.168.1.10 netmask 255.255.255.0 up (2) 添加默认网关 #sudo route add default gw 192.168.1.1 (3) 查看网卡配置 #ifconfig 如果只查看eth0的配置信息 #ifconfig eth0 二、直接编辑网卡配置文件(推荐用这个方法设置) (1)编辑文件 $ sudo vi /etc/network/interfaces # The loopback... 阅读全文

摘要： link：http://www.cnblogs.com/spork/archive/2010/04/21/1717592.html经过上一篇的分析，我们知道了Hadoop的作业提交目标是Cluster还是Local，与conf文件夹内的配置文件参数有着密切关系，不仅如此，其它的很多类都跟conf有关，所以提交作业时切记把conf放到你的classpath中。 因为Configuration是利用当前线程上下文的类加载器来加载资源和文件的，所以这里我们采用动态载入的方式，先添加好对应的依赖库和资源，然后再构建一个URLClassLoader作为当前线程上下文的类加载器。publicstatic. 阅读全文

摘要： link：http://www.cnblogs.com/kym/archive/2011/03/07/1976519.html1. 概论在过去的近十年的时间里，面向对象编程大行其道。以至于在大学的教育里，老师也只会教给我们两种编程模型，面向过程和面向对象。孰不知，在面向对象产生之前，在面向对象思想产生之前，函数式编程已经有了数十年的历史。那么，接下来，就让我们回顾这个古老又现代的编程模型，让我们看看究竟是什么魔力将这个概念，将这个古老的概念，在21世纪的今天再次拉入了我们的视野。2. 什么是函数式编程在维基百科中，已经对函数式编程有了很详细的介绍。那我们就来摘取一下Wiki上对Function 阅读全文

摘要： 判断，对任何人来说都是重要的。准确地判断，有利于我们掌握事物的发展趋势，并作出正确决策。当我们对自己的生活、工作、学习等各方面的事情都有了准确的判断后，我们就如同多了二郎神一样的慧眼，会透过一切扑朔迷离的迷雾，清晰地看到事物的真实本质。并因此而做到明察秋毫，运筹帷幄！一、充分的准备工作是判断的前提 不打无准备之仗，不做无把握之事，充分的准备工作是我们做任何事情的前提，是一切事情成功的坚强后盾。你是不是一个有主见的人，这与你是否具有坚强的自信心是分不开的。除了坚强的自信心，我们还要勤于思考和善于调查研究，这对于我们是否能够准确判断是至关重要的。心急吃不了热豆腐，判断需要一个过程，“... 阅读全文

摘要： HIVE提供了很多函数，但这些函数只能满足一般的需求，针对复杂的业务分析，需要自己开发适合业务需求的函数。如何开发HIVE的UDF/UDAF/UDTF，请参看如下博客介绍的自定义函数的模板：http://hugh-wangp.iteye.com/blog/1472371如何在HIVE中使用自己定义的函数，可以有几种方式：1.在HIVE会话中add 自定义函数的jar文件，然后创建function，继而使用函数2.在进入HIVE会话之前先自动执行创建function，不用用户手工创建3.把自定义的函数写到系统函数中，使之成为HIVE的一个默认函数，这样就不需要create temporary f 阅读全文