摘要：遇到的问题 在处理数据过程中，遇到需要取(n)个数的问题，而当样本量过大的时候，就不能简单的take(n)，这类问题一般有两种情况： 有序取 TopN 无序取 N 先来讨论 无序取N 的情况： sample 函数 sample(boolean, fraction,seed) : 按比例抽取 返回一个 阅读全文

摘要：<!--[endif]--> <!--[endif]--> <!--[endif]--> <!--[endif]--> package com.hadoop.hdfs.api.test.mr.wc; import java.io.IOException; import org.apache.hado 阅读全文

摘要：概览 首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默 阅读全文