2013年11月15日
摘要: 英文原文:cloudera,编译:ImportNew–Royce Wong书接上回,继续为大家讲解MapReduce用户编程接口MapReduce – 用户编程接口下面将着重谈下MapReduce框架中用户经常使用的一些接口或类的详细内容。了解这些会极大帮助你实现、配置和优化MR任务。当然javadoc中对每个class或接口都进行了更全面的陈述,这里只是一个指引教程。首先来看下Mapper和Reducer接口,通常MR应用都要实现这两个接口来提供map和reduce方法,这些是MRJob的核心部分。MapperMapper 将输入的kv对映射成中间数据kv对集合。Maps 将输入记录转变为中 阅读全文
posted @ 2013-11-15 01:31 hyyc116 阅读(192) 评论(0) 推荐(0)
摘要: 转载自:http://blog.csdn.net/xhh198781/article/details/7778001一. MapFile文件 前面说过,SequenceFile文件是用来存储key-value数据的,但它并不保证这些存储的key-value是有序的,而MapFile文件则可以看做是存储有序key-value的SequenceFile文件。MapFile文件保证key-value的有序(基于key)是通过每一次写入key-value时的检查机制,这种检查机制其实很简单,就是保证当前正要写入的key-value与上一个刚写入的key-value符合设定的顺序,但是,这种有序是由用户 阅读全文
posted @ 2013-11-15 01:25 hyyc116 阅读(295) 评论(0) 推荐(0)
2013年11月5日
摘要: 转载自http://www.cnblogs.com/tippoint/archive/2012/10/23/2735532.html前面均在windows下进行,但是在安装hadoop过程中出了一些问题,先暂时切换到linux下,回头再补充windows下的安装。不过通过对比确实发现,在linux下的安装配置确实比较简单。一.安装ubuntu 我是下载的ubuntu12.04,在64位的虚拟机上使用virtualbox安装的,没错,是在虚拟机上在安装虚拟机,然后安装ubuntu具体安装过程就不描述了,不过安装过程确实慢,除非你的网络很快。12.04的新主题使用真是别扭,在登陆界面切换到gonm 阅读全文
posted @ 2013-11-05 15:37 hyyc116 阅读(133) 评论(0) 推荐(0)
2013年10月18日
摘要: 按:之前的文章重新汇编一下,修改了一些错误和不当的说法,一起复习,然后继续SVM之旅.(一)SVM的八股简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中[10]。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的,根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度,Accuracy)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷,以期获得最好的推广能力[14](或称泛化能力)。以 阅读全文
posted @ 2013-10-18 11:19 hyyc116 阅读(198) 评论(0) 推荐(0)
2013年8月6日
摘要: print 'hello world' public static final String main(String[] args){ System.out.println("Hello World!!"); } public static final String main(String[] args){ System.out.println("Hello World!!"); } 阅读全文
posted @ 2013-08-06 18:24 hyyc116 阅读(112) 评论(0) 推荐(0)