悄悄成长

摘要： 一。本文转自：https://blog.csdn.net/qq_32846595/article/details/71149312 喜欢的同学可以看一下原文，讲得更加详细哦 原文地址：http://www.cnblogs.com/cxk1995/p/5800196.html 首先你需要一个githu 阅读全文

摘要： 一，随机数产生方法 ①最小值+Math.random() *（最大值-最小值+1）：产生的数的范围在 [最小值，最大值] package com.java1;import javax.swing.JOptionPane; public class RandomInt { public static 阅读全文

摘要： 一、zNode节点属性 dataVersion 数据版本, 每次当 Znode 中的数据发生变化的时候, dataVersion都会自增一下cversion 节点版本, 每次当 Znode 的节点发生变化的时候, cversion 都会自增aclVersion ACL(Access Control 阅读全文

摘要： 一、zookeeper理解与选举机制 ①Zookeeper理解 概念：Zookeeper 是一个开源的分布式协调服务框架 ，主要用来解决分布式集群中应用系统的一致性问题和数据管理问题 特点：Zookeeper 本质上是一个分布式文件系统, 适合存放小文件，也可以理解为一个数据库。 Zookeeper 阅读全文

摘要： 这一周自己大约一共发了3篇博客： 这一周主要学习的是Combiner+GroupingComparator+shuffle原理+Reduce原理MapReduce全流程_分区_排序 MapReduce任务提交和切片源码+各种inputFormat以及自定义inputFormat+自定义inputFo 阅读全文

摘要： 1、Combiner Combiner的输入输出对象必须一样。 2、GroupingComparator 运行代码： map package groupcompartor; import org.apache.hadoop.io.LongWritable; import org.apache.had 阅读全文

摘要： 1、MapReduce完成的工作流程： 2、分区操作（Partition分区） Partition分区案例实操 1．需求 将统计结果按照手机归属地不同省份输出到不同文件中（分区）期望输出数据手机号136、137、138、139开头都分别放到一个独立的4个文件中，其他开头的放到一个文件中。 代码如下： 阅读全文

摘要： 1、MapReduce任务提交和切片源码 debug能力（怎样使用）： 2、各种inputFormat以及自定inputFormat 自定义inputFormat代码实现 之后就是自定义的inputformat 无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文 阅读全文

摘要： 这一周自己大约一共发了10篇博客： 有一个是爬虫项目的实战，爬取的是豆瓣影院的相关电影信息。 然后其余的博客就是和大数据相关的的了。主要会HDFS和MapReduce。简单的了解了api的操作hdsf的基本流程。配置了虚拟机的hadoop环境。 成功运行了maven项目，实现了项目文件上传，以及通过 阅读全文

摘要： 1、wordcount打包在集群上运行 点击idea右侧的mavenproject 成功之后： 然后重命名为1.jar上传到我们的linux集群中 之后在linux中运行刚刚上传的jar文件 之后就会成功运行了。 2、hadoop序列化 首先神魔是序列化： 序列化就是把内存中的对象，转换成字节序列( 阅读全文