11 2012 档案

MapReduce编程模型：用MapReduce进行大数据分析
摘要：说明：通过本文对MapReduce编程模型循序渐进的说明，你可以对MapReduce工作机制有一个总体上的很好的把握，是来自IBM developerWorks的一篇非常好的文章（转载）！Google 在 2001 年发布图像搜索功能时，只有 2.5 亿索引图像，不到 10 年，这个巨大的搜索功能已经可以检索超过 100 亿个图像了，每分钟有 35 小时的内容上传到 YouTube。据称，Twitter 每天平均处理 5500 万 tweet。今年早些时候，搜索功能每天记录 6 亿条查询记录。这就是我们讨论大数据的意义所在。如此大规模的数据一度仅限于大企业、学校和政府机构 — 这些机构有能力购 阅读全文
posted @ 2012-11-30 13:02 beanmoon 阅读(1706) 评论(0) 推荐(0)
CAP理论和ACID, BASE
摘要：10年前，Eric Brewer教授提出了非常著名的CAP理论，后人也论证了CAP理论的正确性。CAP理论指出：一个分布式系统不可能同时满足一致性（Consistency），可用性（Availibility）和分区容忍性（Partition Tolerance）这三个需求。最多只能同时满足其中的两个。架构师不要将精力浪费在如何设计能满足三者的完美分布式系统，而是应该进行取舍。一致性（Consistency）：对于分布式的存储系统，一个数据往往会存在多份。简单的说，一致性会让客户对数据的修改操作（增/删/改）要么在所有的数据副本（在英文文献中常称为Replica）全部成功，要么全部失败。即，修改 阅读全文
posted @ 2012-11-30 10:23 beanmoon 阅读(1235) 评论(0) 推荐(0)
Linux琐记
摘要：(1). 修改linux的时间可以使用date指令在命令行输入:date显示当前时间 Fri Aug 3 14:15:16 CST 2007date -s按字符串方式修改时间可以只修改日期,不修改时间,输入: date -s 2007-08-03只修改时间,输入:date -s 14:15:00同时修改日期时间,注意要加双引号,日期与时间之间有一空格,输入:date -s "2007-08-03 14:15:00"修改完后,记得输入:sudo clock -w （在debian中是sudo hwclock -w命令）把系统时间写入CMOS(2). 经典LAMP架构实例：Sy 阅读全文
posted @ 2012-11-28 16:19 beanmoon 阅读(422) 评论(0) 推荐(0)
如何统计博客园的个人博客访问量
摘要：使用过新浪博客的人都知道，新浪博客的首页有访问量统计功能，迁移到博客园之后发现博客园却没有这项功能，所幸博客园在后台管理的设置选项中有一个公告栏和设置页首页脚代码功能，使用起来非常灵活和方便。借此我们可以通过网络上提过的其他强大的插件来为获取更加详细的访问统计信息（博客园这难道是借鉴了传统unix中“一个软件工具只做好一件事”的设计原则吗~~^_^），本教程所使用的方法对于其他提供类似公告栏机制的任何网络页面都适用，而不仅仅限于博客园，以下为详细步骤：1. 如果你想在博客园的首页显示你的访问数据，可以采用以下方法： 1）flagcounter.com：进入这个网站，然后根据首页的自定义界面选. 阅读全文
posted @ 2012-11-27 20:47 beanmoon 阅读(5597) 评论(17) 推荐(14)
Maven使用教程
摘要：1. Maven简介1. Maven的出发点在进行软件开发的过程中，无论什么项目，采用何种技术，使用何种编程语言，我们 都要重复相同的开发步骤：编码，测试，打包，发布，文档。实际上这些步骤是完全重复性的工作。那为什么让软件开发人员去重复这些工作？开发人员的主要任务 应该是关注商业逻辑并去实现它，而不是把时间浪费在学习如何在不同的环境中去打包，发布，。。。Maven正是为了将开发人员从这些任务中解脱出来而诞生的。2. Maven能做什么？Maven是由早期为Jakarta Turbine定制的构建工具发展而来的，现在成为了一个独立的软件项目管理工具。Maven能够：1）理解并管理整个软件开发周期 阅读全文
posted @ 2012-11-26 23:14 beanmoon 阅读(10630) 评论(0) 推荐(1)
Introducing Maven
摘要：IntroductionMaven, aYiddish wordmeaningaccumulator of knowledge, was originally started as an attempt to simplify the build processes in the Jakarta Turbine project. There were several projects each with their own Ant build files that were all slightly different and JARs were checked into CVS. We wa 阅读全文
posted @ 2012-11-26 12:20 beanmoon 阅读(366) 评论(0) 推荐(0)
hadoop中的重要类和接口解析
摘要：以下为hadoop中使用的常用类说明（来源于hadoop api），排列仅以学习时出现的顺序为参考，不做其他比较：1. Configurationpublic class Configuration extends Object implements Iterable<Map.Entry<String,String>>, WritableProvides access to configuration parameters.ResourcesConfigurations are specified by resources. A resource contains a 阅读全文
posted @ 2012-11-25 21:38 beanmoon 阅读(1141) 评论(0) 推荐(0)
java泛型深入解析
摘要：Java泛型（generics）是JDK 5中引入的一个新特性，允许在定义类和接口的时候使用类型参数（type parameter）。声明的类型参数在使用时用具体的类型来替换。泛型最主要的应用是在JDK 5中的新集合类框架中。对于泛型概念的引入，开发社区的观点是褒贬不一。从好的方面来说，泛型的引入可以解决之前的集合类框架在使用过程中通常会出现的运行时刻类型错误，因为编译器可以在编译时刻就发现很多明显的错误。而从不好的地方来说，为了保证与旧有版本的兼容性，Java泛型的实现上存在着一些不够优雅的地方。当然这也是任何有历史的编程语言所需要承担的历史包袱。后续的版本更新会为早期的设计缺陷所累。开发人 阅读全文
posted @ 2012-11-25 13:09 beanmoon 阅读(349) 评论(0) 推荐(0)
工厂方法模式（Factory method）
摘要：在软件系统中，经常面临着“某个对象”的创建工作，由于需求的变化，这个对象的具体实现经常面临着剧烈的变化，但是它却拥有比较稳定的接口。如何应对这种变化？提供一种封装机制来隔离出“这个易变对象”的变化，从而保持系统中“其它依赖该对象的对象”不随着需求的改变而改变？这就是要说的Factory Method模式了。 工厂模式主要是为创建对象提供过渡接口，以便将创建对象的具体过程屏蔽隔离起来，达到提高灵活性的目的。工厂方法定义一个用于创建对象的接口，但是让子类决定实例化哪个类。压注成型演示了这种模式。塑料玩具制造商加工塑料粉，将塑料注入到希望形状的模具中。玩具的类别（车，人物等等）是由模具决定的。... 阅读全文
posted @ 2012-11-25 12:06 beanmoon 阅读(345) 评论(0) 推荐(0)
HDFS基本知识整理
摘要：设计理念： 1、超大文件 2、流式数据访问 3、商用普通硬件不适合场景： 1、低时间延迟的数据访问 2、大量的小文件 3、多用户写入，任意修改文件一、HDFS的基本概念1.1、数据块(block)HDFS(HadoopDistributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。目的：最小化寻址，加快数据传输速度列出文件系统中各个文件有哪些块构成：hadoop fsck / -files -bloc 阅读全文
posted @ 2012-11-23 10:46 beanmoon 阅读(2291) 评论(0) 推荐(0)
java主要集合类的数据结构学习
摘要：在程序中，集合类每天都在使用，以致于某些代码充斥着List和Map，一直没有机会整理下它们背后的实现原理。这几天不太忙，正好可以看会代码，补充下概念。和集合类的大致分类类似，下面我也分List,Map和Set来描述。一． List1).ArrayList ArrayList维护着一个对象数组。如果调用new ArrayList()后，它会默认初始一个size=10的数组。 每次add操作都要检查数组容量，如果不够，重新设置一个初始容量1.5倍大小的新数组，然后再把每个元素copy过去。 在数组中间插入或删除，都要移动后面的所有元素。（使用System.arraycopy()）2).Lin 阅读全文
posted @ 2012-11-22 12:41 beanmoon 阅读(516) 评论(0) 推荐(0)
Avro总结(RPC/序列化)
摘要：注：该文是前一篇博客的很好的中文说明。Avro（读音类似于[ævrə]）是Hadoop的一个子项目，由Hadoop的创始人Doug Cutting（也是Lucene，Nutch等项目的创始人，膜拜）牵头开发。Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。它的主要特点有：支持二进制序列化方式，可以便捷，快速地处理大量数据；动态语言友好，Avro提供的机制使动态语言可以方便地处理Avro数据。 当前市场上有很多类似的序列化系统，如Google的Protocol Buffers, Facebook的Thrift。这些系统反响良好，完全可以满足普通应用的需求。针对重复开发的 阅读全文
posted @ 2012-11-22 10:39 beanmoon 阅读(874) 评论(0) 推荐(0)
Apache Avro1.7.2 Specification
摘要：IntroductionApache Avro™ is a data serialization system.Avro provides:Rich data structures.A compact, fast, binary data format.A container file, to store persistent data.Remote procedure call (RPC).Simple integration with dynamic languages. Code generation is not required to read or write data files 阅读全文
posted @ 2012-11-22 10:24 beanmoon 阅读(486) 评论(0) 推荐(0)
Hadoop管理员的十个最佳实践
摘要：前言接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。在解决问题的过程中，有时需要翻源码，有时会向同事、网友请教，遇到复杂问题则会通过mail list向全球各地Hadoop使用者,包括Hadoop Committer（Hadoop开发者）求助。在获得很多人帮助后，自己将遇到问题和心得整理成文，希望本文可以对那些焦头烂额的Hadoop新手们有所帮助，少走笔者的弯路。PS. 本文基于 阅读全文
posted @ 2012-11-22 00:23 beanmoon 阅读(495) 评论(0) 推荐(0)
Introducing JSON
摘要：JSON(JavaScript Object Notation) is a lightweight data-interchange format. It is easy for humans to read and write. It is easy for machines to parse and generate. It is based on a subset of theJavaScript Programming Language,Standard ECMA-262 3rd Edition - December 1999. JSON is a text format that i 阅读全文
posted @ 2012-11-21 20:59 beanmoon 阅读(218) 评论(0) 推荐(0)
JAVA琐记
摘要：(1).关于junit的一篇很好的介绍：http://www.ibm.com/developerworks/cn/java/j-lo-junit4/关于junit的最佳实践：1. 新建一个名为test的source folder， 用于存放测试代码2. 目标类和测试类应该位于同一个包下，这样测试类就不必导入源代码所在的包，因为他们位于同一个包中3. 测试类的命名规则是在被测试类的前面或后面加Test，如Calculator-->TestCalculatorjunit的帮助文档：http://junit.sourceforge.net/javadoc/(2).创建jar文件：jar -cm 阅读全文
posted @ 2012-11-20 18:30 beanmoon 阅读(161) 评论(0) 推荐(0)
java中的反射机制详解
摘要：在Java运行时环境中，对于任意一个类，能否知道这个类有哪些属性和方法？对于任意一个对象，能否调用它的任意一个方法？答案是肯定的。这种动态获取类的信息，以及动态调用对象的方法的功能来自于Java语言的反射（Reflection）机制。Java反射机制主要提供了以下功能： 1.在运行时判断任意一个对象所属的类； 2.在运行时构造任意一个类的对象；(在编译时通过new（）方法就可以构造一个类的对象) 3.在运行时判断任意一个类所具有的成员变量和方法； 4.在运行时调用任意一个对象的方法； 5.生成动态代理。 Reflection 是 Java 被视为动态（或准动态）语言的关... 阅读全文
posted @ 2012-11-20 12:59 beanmoon 阅读(321) 评论(0) 推荐(0)
Hadoop琐记
摘要：(1). 在执行<Hadoop: the defenitive guide 3th>的如下命令时： % echo "Text" | hadoop StreamCompressor org.apache.hadoop.io.compress.GzipCodec | gunzip - Text 由于是在eclipse中编译的此文件，所以默认加上了自定义的包名路径：ch04/StreamCompressor，如果跑到ch04目录下直接执行的话，会报如下错： Exception in thread "main" java.lang.NoClassDe 阅读全文
posted @ 2012-11-19 11:54 beanmoon 阅读(921) 评论(0) 推荐(0)
binary code（二进制串的问题）
摘要：题目给定一个N位的二进制串 b1 b2 … bN-1 bN 将该串做旋转，即将b1移到bN后面，得到一个新的二进制串： b2 … bN-1 bN b1对新的二进制串再做旋转，得二进制串 b3 b4 … bN-1 bNb1 b2 重复旋转操作操作，可得N个二进制串，对这N个串排序，可得一个N*N的矩阵例如： 1 0 0 0 1 -> 0 0 0 1 1 -> 1 1 0 0 0 -> 0 0 1 1 0 -> 0 1 1 0 0对它们做排序，得矩阵0 0 0 1 10 0 1 1 0 0... 阅读全文
posted @ 2012-11-18 20:57 beanmoon 阅读(539) 评论(0) 推荐(0)
几个算法编程题
摘要：1.输入30个数到一个5行6列数组，经排序后该数组各元素值按行从小到大排列，并显示该二维数组。要求：不能把次二维数组转存到一位数组中。 1 //输入二维数组时，以行为单位，每行各个元素之间以空格隔开 2 #include <stdio.h> 3 4 #define row 5 5 #define col 6 6 7 int main() { 8 int array[row][col], i=0, j=0, a, b, swap; 9 printf("please enter your %d*%d array: \n", row, col);10 while(i 阅读全文
posted @ 2012-11-18 20:42 beanmoon 阅读(626) 评论(0) 推荐(0)
为什么你应该（从现在开始就）写博客 --via刘未鹏
摘要：（一）为什么你应该（从现在开始就）写博客用一句话来说就是，写一个博客有很多好处，却没有任何明显的坏处。（阿灵顿的情况属于例外，而非常态，就像不能拿抽烟活到一百岁的英国老太太的个例来反驳抽烟对健康的极大损伤一样）让我说得更明确一点：用博客的形式来记录下你有价值的思考，会带来很多好处，却没有任何明显的坏处。Note：碎碎念不算思考、心情琐记不算思考、唠唠叨叨也不算思考、没话找话也不算思考，请以此类推。下面是我个人认为写一个长期的价值博客的最大的几点好处：1)能够交到很多志同道合的朋友。我自己既写博客，也读别人的博客，在这个时代，对于生活中的绝大多数人来说，拓宽朋友圈子的途径几乎只有一个，通过网络， 阅读全文
posted @ 2012-11-16 20:50 beanmoon 阅读(247) 评论(0) 推荐(0)
学习方法记
摘要：1. 学新东西的过程就是一个化整为零，再化零为整的过程：首先应该在学习之前通过一般的介绍文章大致地看一下它的全貌，在心里要明白它是干什么的；然后从各个细节出发具体把握；最后宏观的总结下自己整个学习阶段已经掌握的知识，构建起一个完整的知识体系。不管你是要学习一门新的宏大的领域知识，还是看一本书的关于某个主题的某一章内容，这都是一个好的方法。重要的是，一定要有自己的看法，自己的理解。 阅读全文
posted @ 2012-11-15 21:18 beanmoon 阅读(180) 评论(0) 推荐(0)
Eclipse快捷键大全(转载)
摘要：Ctrl+1快速修复(最经典的快捷键,就不用多说了)Ctrl+D:删除当前行Ctrl+Alt+↓复制当前行到下一行(复制增加)Ctrl+Alt+↑复制当前行到上一行(复制增加)Alt+↓当前行和下面一行交互位置(特别实用,可以省去先剪切,再粘贴了)Alt+↑当前行和上面一行交互位置(同上)Alt+←前一个编辑的页面Alt+→下一个编辑的页面(当然是针对上面那条来说了)Alt+Enter显示当前选择资源(工程,or文件or文件)的属性Shift+Enter在当前行的下一行插入空行(这时鼠标可以在当前行的任一位置,不一定是最后)Shift+Ctrl+Enter在当前行插入空行(原理同上条)Ctrl 阅读全文
posted @ 2012-11-15 17:31 beanmoon 阅读(183) 评论(0) 推荐(0)
脚本语言琐记
摘要：1. 来源于维基百科（比百度百科的解释直白易懂多了）关于脚本语言的很好的介绍：http://zh.wikipedia.org/wiki/%E8%84%9A%E6%9C%AC%E8%AF%AD%E8%A8%80 阅读全文
posted @ 2012-11-15 10:10 beanmoon 阅读(196) 评论(0) 推荐(0)
大数据存取的选择：行存储还是列存储？
摘要：目前大数据存储有两种方案可供选择：行存储和列存储。业界对两种存储方案有很多争持，集中焦点是:谁能够更有效地处理海量数据，且兼顾安全、可靠、完整性。从目前发展情况看，关系数据库已经不适应这种巨大的存储量和计算要求，基本是淘汰出局。在已知的几种大数据处理软件中，Hadoop的HBase采用列存储，MongoDB是文档型的行存储，Lexst是二进制型的行存储。在这里，我不讨论这些软件的技术和优缺点，只围绕机械磁盘的物理特质，分析行存储和列存储的存储特点，以及由此产生的一些问题和解决办法。一．结构布局行存储数据排列列存储数据排列表格的灰色背景部分表示行列结构，白色背景部分表示数据的物理分布，两种存储的 阅读全文
posted @ 2012-11-13 20:57 beanmoon 阅读(657) 评论(0) 推荐(0)
详解MANIFEST.MF文件
摘要：打开Java的JAR文件我们经常可以看到文件中包含着一个META-INF目录，这个目录下会有一些文件，其中必有一个MANIFEST.MF，这个文件描述了该Jar文件的很多信息，下面将详细介绍MANIFEST.MF文件的内容，先来看struts.jar中包含的MANIFEST.MF文件内容：Manifest-Version: 1.0Created-By: Apache Ant 1.5.1Extension-Name: Struts FrameworkSpecification-Title: Struts FrameworkSpecification-Vendor: Apache Software 阅读全文
posted @ 2012-11-13 18:51 beanmoon 阅读(418) 评论(0) 推荐(0)
hadoop集群默认配置和常用配置
摘要：获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。2.浏览apache官网,三个配置文件链接如下: ht 阅读全文
posted @ 2012-11-12 21:09 beanmoon 阅读(905) 评论(0) 推荐(0)
hadoop集群搭建总结
摘要：通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK ，ssh，HadoopJavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。ssh必须安装并且保证sshd一直运行，以便用Hadoop 脚本管理远端Hado 阅读全文
posted @ 2012-11-12 21:08 beanmoon 阅读(2152) 评论(0) 推荐(0)
Debian下安装NFS服务器
摘要：1.安装很简单在Debian系统下安装NFS是相当简单的，在NFS服务器上执行下面的命令即可# aptitude install nfs-kernel-server （会默认安装portmap和nfs-common）在客户端则需要安装： # aptitude install nfs-common portmap2.服务器启动、停止与重启： 启动服务# /etc/init.d/nfs-kernel-server start 停止服务# /etc/init.d/nfs-kernel-server stop 重启服务# /etc/init.d/nfs-kernel-server resta... 阅读全文
posted @ 2012-11-11 22:25 beanmoon 阅读(3212) 评论(0) 推荐(1)
debain的几个网络配置文件
摘要：1 /etc/hosts包含（本地网络中）已知主机的一个列表。如果系统的 IP 不是动态获取，就可以使用它。对于简单的主机名解析（点分表示法），在请求 DNS 或 NIS 网络名称服务器之前，/etc/hosts.conf 通常会告诉解析程序先查看这里。 文件格式:ip地址 主机名 别名　$ cat /etc/hosts127.0.0.1 localhost.localdomain localhost2 /etc/servicesInternet网络服务文件，将网络服务名转换为端口号／协议。由 inetd、telnet、tcpdump 和一些其它程序读取。文件中的每一行对应一种服务，它由4个字 阅读全文
posted @ 2012-11-11 22:17 beanmoon 阅读(738) 评论(0) 推荐(0)
几个配置文件
摘要：此下为几个重要的配置文件，在此记录下来便于以后参考：1. ~/.bashrc#for Gaussian09export G09ROOT=/home/bean/g09export GAUSS_EXEDIR=/home/bean/g09export GAUSS_SCRDIR=$G09ROOT/scratchexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/$G09ROOTexport PATH=$PATH:/home/bean/g09# for javaexport JAVA_HOME=/home/bean/jdk1.7.0_09export PATH=$JAVA_ 阅读全文
posted @ 2012-11-10 21:25 beanmoon 阅读(222) 评论(0) 推荐(0)
什么是JVM
摘要：A Java virtual machine is a program which executes certain other programs, namely those containing Java bytecode instructions. JVMs are most often implemented to run on an existingoperating system, but can also be implemented to run directly on hardware. A JVM provides an environment in which Java b 阅读全文
posted @ 2012-11-08 20:52 beanmoon 阅读(421) 评论(0) 推荐(0)
hadoop中的重要概念
摘要：学习了hadoop这几天，一些主要的概念必须得先弄清楚，下面是来自wiki.apache的一些很好的解释，整理如下： 本文信息来源：http://wiki.apache.org/hadoop/FrontPage1. NameNode The NameNode is the centerpiece of an HDFS file system. It keeps the directory tree of all files in the file system, and tracks where across the cluster the file data is kept. It ... 阅读全文
posted @ 2012-11-08 19:14 beanmoon 阅读(747) 评论(0) 推荐(0)
杂记
摘要：(1).在debian下默认的浏览器中输入网址时是要加www的，例如baidu.com就不行，他不认，你要写www.baidu.com；害得我还以为配置文件出了问题，改了又改，重启了eth0 n次。(2).如果在使用ssh无密码登录时出现如下出错信息，可以这样解决：之前要在本机上装上ssh，可以通过sudo apt-get install ssh或者通过新立德来安装。如果没有进行配置的话，登录到本机或者远程主机需要该主机的密码才行。下面进行无密码登录的配置：很简单，执行ssh-keygen -t rsa命令，一路敲回车就行了，就在.ssh文件夹下生成了2个文件，一个公钥和一个私钥文件， id_ 阅读全文
posted @ 2012-11-08 11:11 beanmoon 阅读(281) 评论(0) 推荐(0)
把java中的class文件打包成.jar (jar命令详解)
摘要：先打开命令提示符(win2000或在运行框里执行cmd命令，win98为DOS提示符)，输入jar Chelp,然后回车(如果你盘上已经有了jdk1.1或以上版本)，看到什么： 用法：jar {ctxu}[vfm0Mi] [jar-文件] [manifest-文件] [-C 目录] 文件名 ... 选项： -c 创建新的存档 -t 列出存档内容的列表 -x 展开存档中的命名的（或所有的〕文件 -u 更新已存在的存档 -v 生成详细输出到标准输出上 -f 指定存档文件名 -m 包含来自标明文件的标明信息 -0 只存储方式；未用zip压缩格式 -M 不产生所... 阅读全文
posted @ 2012-11-07 21:22 beanmoon 阅读(2537) 评论(0) 推荐(0)
linux下eclipse中运行hadoop过程总结
摘要：转载请注明原作者：http://www.cnblogs.com/beanmoon 最近在研究大数据的课题，不可避免要用到hadoop，于是开始看《hadoop: the definite guide 2》，在遇到分析天气数据时，遇到一个实例，然后就动手试试运行命令 % export HADOOP_CLASSPATH=build/classes% hadoop MaxTemperature input/ncdc/sample.txt output HADOOP_CLASSPATH是用来指明经编译过的class文件所在的位置（我是通过eclipse来编译的，不知道书中作者是怎么编译的，直... 阅读全文
posted @ 2012-11-07 20:53 beanmoon 阅读(3573) 评论(0) 推荐(0)
sudo的详细用法
摘要：sudo源于80年代早期,是巴法罗市的纽约州立大学开发的,随后,科罗拉多大学对起进行了深入的开发.网址:http://www.gratisoft.us/sudo/Sudo是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具，如halt，reboot，su等等。这样不仅减少了root用户的登陆和管理时间，同样也提高了安全性。Sudo不是对shell的一个代替，它是面向每个命令的。它的特性主要有这样几点： § Sudo能够限制用户只在某台主机上运行某些命令。 § Sudo提供了丰富的日志，详细地记录了每个用户干了什么。它能够将日志传到中心主机或者日志服务器。 &# 阅读全文
posted @ 2012-11-05 17:12 beanmoon 阅读(797) 评论(0) 推荐(0)
linux下安装JDK
摘要：首先需要下载jdk的.tar.gz文件，在某个目录（如你的主目录）下解压后在设置如下环境变量就可以了：1. PATH环境变量。作用是指定命令搜索路径，在shell下面执行命令时，它会到PATH变量所指定的路径中查找看是否能找到相应的命令程序。我们需要把 jdk安装目录下的bin目录增加到现有的PATH变量中，bin目录中包含经常要用到的可执行文件如javac/java/javadoc等待，设置好 PATH变量后，就可以在任何目录下执行javac/java等工具了。2. CLASSPATH环境变量。classpath变量的含义是告诉jvm要使用或执行的class放在什么路径上，便于JVM加载cl 阅读全文
posted @ 2012-11-05 13:16 beanmoon 阅读(176) 评论(0) 推荐(0)
Apache Hadoop项目
摘要：今天，Hadoop 是一个分布式计算基础架构这把"大伞"下的相关子项目的集合。这些项目属于Apache 软件基金会(http://hadoop.apache.org)，后者为开源软件项目社区提供支持。虽然Hadoop 最出名的是MapReduce 及其分布式文件系统(HDFS，从NDFS 改名而来)，但还有其他子项目提供配套服务，其他子项目提供补充性服务。这些子项目的简要描述如下，其技术栈如图1-1 所示。图1-1：Hadoop 的子项目Core一系列分布式文件系统和通用I/O 的组件和接口(序列化、Java RPC 和持久化数据结构)。Avro一种提供高效、跨语言RPC 阅读全文
posted @ 2012-11-05 09:54 beanmoon 阅读(742) 评论(0) 推荐(0)
Hadoop相对于RDBMS、HPC、志愿计算的比较
摘要：Hadoop 提供了一个稳定的共享存储和分析系统。存储由HDFS 实现，分析由MapReduce 实现。纵然Hadoop 还有其他功能，但这些功能是它的核心所在。相较于其他系统MapReduce 似乎采用的是一种蛮力方法。即，针对每个查询，每一个数据集-- 至少是很大一部分-- 都会被处理。但这正是它的能力。MapReduce 可以处理一批查询，并且它针对整个数据集处理即席查询并在合理时间内获得结果的能力也是具有突破性的。它改变了我们对数据的看法，并且解放了以前存储在磁带和磁盘上的数据。它赋予我们对数据进行创新的机会。那些以前需要很长时间才能获得答案的问题现在已经迎刃而解。1.关系型数据库管理 阅读全文
posted @ 2012-11-05 00:24 beanmoon 阅读(1323) 评论(0) 推荐(0)
给盲目兴奋的程序员们的建议
摘要：我偶然看到一些漫无目的、精力旺盛的程序员说出类似这样的话：嘿，大家好！我刚刚学会了Erlang/Haskell/Python，我正在找一个大型项目用它们去写。如果你们知道，请告诉我！或者我喜欢Linux和开源软件，我想通过开发一个项目来向开源社区贡献我的力量。有没有一个很重要的软件，但只能在Windows上运行，而你希望有个Linux版本的？这些找不着方向的问题总是让我困惑不已。他们把程序语言或操作系统或软件许可协议当成关键条件。他们的目的跟解决某个问题或跟创造价值或跟说话人对软件的兴趣没有一点关系。你能相信一个不爱音乐的人能开发出一个好的乐谱软件吗？对Photoshop没有专业了解的人能克隆 阅读全文
posted @ 2012-11-04 22:53 beanmoon 阅读(227) 评论(0) 推荐(0)
集群的分类
摘要：在现在存储环境中，集群软件是一个很重要的模块。然而，很多人不清楚集群软件的分类，不知道oracle的RAC，IBM的HACMP，Symantec的VCS和EMC的AutoStart，甚至一些用户写的脚本，分别属于哪一类，它们之间有什么相同和不同的地方： 一般来讲，集群软件根据侧重的方向和试图解决的问题，分为三大类：高性能集群（High performance cluster，HPC）、负载均衡集群（Load balance cluster， LBC），高可用性集群（High availability cluster，HAC）。有些软件可能夸口说它包含了超出单类型的功能，既可以做负载均衡集群.. 阅读全文
posted @ 2012-11-03 00:17 beanmoon 阅读(560) 评论(0) 推荐(0)
vmware7.1.14的vmware tools不支持opensuse12的解决过程
摘要：最近应化学院老师的要求在学校的超算中心上安装量子化学的高斯软件guassian09，由于超算中心使用的是opensuse，所以今天只好在虚拟机上又安装了opensuse以熟悉这个新的linux环境，安装过程暂且不表，大家随便搜搜到处都有，可是安装过后照例安装vmware tools时问题出现了 先是提示我这个：Searching for a valid kernel header path...The path "" is not valid.Would you like to change it? [yes]What is the location of the dire 阅读全文
posted @ 2012-11-02 22:08 beanmoon 阅读(1420) 评论(2) 推荐(0)
ubuntu和debian环境下vmware虚拟机共享目录无法挂载的问题解决办法
摘要：第一步，安装VMware Tools打开虚拟机ubuntu（debian原理一样）后，首先，点击 虚拟机——安装VMware Tools（Install VMware Tools），这时我们会在Ubuntu系统桌面上发现VMware Tools的光盘图标。双击这个文件图标后，会发现有两个文件，manifest.txt和 VMwareTools-8.4.5-324285.tar.gz,很OK，说明我们的VMware Tools下载成功了。我们将VMwareTools-8.4.5-324285.tar.gz拷贝到 /tmp 下cd /tmptar zxvf VMwareTools-8.4.5-32 阅读全文
posted @ 2012-11-02 15:54 beanmoon 阅读(4832) 评论(0) 推荐(0)
Suse linux和OpenSuse的区别和联系
摘要：如果你关注Linux，你就会经常会看到Suse linux， OpenSuse 这两个词，之后你就会想Suse linux， OpenSuse 他们有什么关系呢？本文在这里拿出来和大家分享一下，希望对大家有用。看完本文，你就会了解Suse linux， OpenSuse 的关系了。SUSE LinuxSUSE Linux 原来是德国的 SuSE Linux AG公司发行维护的Linux发行版，是属于此公司的注册商标。2004年这家公司被Novell公司收购。广义上SUSE Linux是一系列Linux发行版，目前有以下几个版本：SUSE Linux，针对个人用户。2005年10月6日推出的SU 阅读全文
posted @ 2012-11-01 12:49 beanmoon 阅读(9675) 评论(0) 推荐(1)
OpenMP简单介绍
摘要：OpenMP（Open Multi-Processing）是由OpenMP Architecture Review Board牵头提出的，并已被广泛接受的，用于共享内存并行系统的多线程程序设计的一套指导性注释（Compiler Directive）。OpenMP支持的编程语言包括C语言、C++和Fortran；而支持OpenMP的编译器包括Sun Studio和IntelCompiler，以及开放源码的GCC和Open64编译器。OpenMP提供了对并行算法的高层的抽象描述，程序员通过在源代码中加入专用的pragma来指明自己的意图，由此编译器可以自动将程序进行并行化，并在必要之处加入同步互斥 阅读全文
posted @ 2012-11-01 11:12 beanmoon 阅读(773) 评论(0) 推荐(0)