摘要：提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用 Apache Hadoop 库，Mahout 可以有效地扩展到云中。 Mahout 是一个很强大的数据挖掘工具，是一个分布式机 阅读全文
Hadoop中Combiner的作用
2016-03-01 09:22 by Mandylover, 1813 阅读, 0 推荐, 收藏,
摘要：1.Partition 把 Map任务输出的中间结果按 key的范围划分成 R份( R是预先定义的 Reduce任务的个数)，划分时通常使用hash函数如: hash(key) mod R，这样可以保证某一段范围内的key，一定是将会由一个Reduce任务来处理，这样可以简化 Reduce获取计算数 阅读全文
Hapoop原理及MapReduce原理分析
2016-03-01 09:19 by Mandylover, 809 阅读, 0 推荐, 收藏,
摘要：Hapoop原理 Hadoop是一个开源的可运行于大规模集群上的分布式并行编程框架，其最核心的设计包括：MapReduce和HDFS。基于 Hadoop,你可以轻松地编写可处理海量数据的分布式并行程序，并将其运行于由成百上千个结点组成的大规模计算机集群上。 基于MapReduce计算模型编写分布式并 阅读全文
MapReduce自定义二次排序流程
2016-03-01 08:59 by Mandylover, 354 阅读, 0 推荐, 收藏,
摘要：每一条记录开始是进入到map函数进行处理，处理完了之后立马就入自定义分区函数中对其进行分区，当所有输入数据经过map函数和分区函数处理完之后，就调用自定义二次排序函数对其进行排序。 MapReduce处理数据的大概简单流程：首先，MapReduce框架通过getSplit方法实现对原始文件的切片之后 阅读全文
MapReduce:Shuffle过程的流程
2016-03-01 08:47 by Mandylover, 519 阅读, 0 推荐, 收藏,
摘要：Shuffle过程是MapReduce的核心，Shuffle描述着数据从map task输出到reduce task输入的这段过程。 1.map端 简单些可以这样说，每个map task都有一个内存缓冲区，存储着map的输出结果，当缓冲区快满的时候需要将缓冲区的数据以一个临时文件的方式存放到磁盘，当 阅读全文
hive内部表与外部表区别
2016-02-24 11:33 by Mandylover, 15200 阅读, 1 推荐, 收藏,
摘要：1.在Hive里面创建一个表： hive> create table wyp(id int, > name string, > age int, > tele string) > ROW FORMAT DELIMITED > FIELDS TERMINATED BY '\t' > STORED AS 阅读全文
hive的使用和深化理解
2016-02-23 17:32 by Mandylover, 331 阅读, 0 推荐, 收藏,
摘要：1.hive中的数据最终是存放在hdfs上的 2.hive本身不是关系型数据库，hive执行sql语句时会把sql语句翻译成mapreduce程序，然后将mapreduce程序提交到hadoop集群中去执行mapreduce程序 3.bin目录下启动hive：./hive后 hive> 接下来导入数 阅读全文
JVM的GC机制及JVM的调优方法
2016-02-22 20:04 by Mandylover, 6150 阅读, 0 推荐, 收藏,
摘要：内存管理和垃圾回收是JVM非常关键的点，对Java性能的剖析而言，了解内存管理和垃圾回收的基本策略非常重要。 1.在程序运行过程当中，会创建大量的对象，这些对象，大部分是短周期的对象，小部分是长周期的对象，对于短周期的对象，需要频繁地进行垃圾回收以保证无用对 象尽早被释放掉，对于长周期对象，则不需要 阅读全文
制作U盘启动盘及安装操作系统的方法
2016-01-28 09:11 by Mandylover, 327 阅读, 0 推荐, 收藏,
摘要：转载自：http://jingyan.baidu.com/article/b7001fe1512db80e7282dd06.html U盘启动盘制作方法： 1.从网上下载最新的老毛桃U盘启动制作工具主程序并安装 2.插入U盘（制作启动盘前先保存好你的资料到其它地方，以防丢失不可找回） 3.插入正确的 阅读全文
java.lang.UnsupportedOperationException
2016-01-25 16:36 by Mandylover, 208 阅读, 0 推荐, 收藏,
摘要：在运行路况预测这个项目时，报错出现：java.lang.UnsupportedOperationException原因：我将1.3版本和1.6版本的两个jar包都Add to Build Path 了将其中一个去掉，remove就解决了。 阅读全文
浙公网安备 33010602011771号