BigData - 随笔分类(第3页) - 末

MapReduce小文件优化与分区

摘要：一、小文件优化 1.Mapper类 2.Reducer类 3.Driver类二、分区 1.Mapper类 2.Reducer类 3.封装类 4.分区类 5.Driver类 6.输入的文件HTTP_20180313143750.dat 7.输出的文件阅读全文

posted @ 2018-10-25 23:38 末阅读(629) 评论(0) 推荐(0)

MapReduce分析流量汇总

摘要：一、MapReduce编程规范二、MapReduce分析流量汇总 1.Mapper类 2.Reducer类 3.Driver类 4.封装类，数据的传输 5.输入的文件HTTP_20180313143750.dat 6.输出的文件part-r-00000 阅读全文

posted @ 2018-10-25 23:13 末阅读(281) 评论(0) 推荐(0)

MapReduce的核心编程思想

摘要：1.MapReduce的核心编程思想 2.yarn集群工作机制 3.maptask并行度与决定机制 4.maptask工作机制 5.MapReduce整体流程 6.shuffle机制 7.yarn架构阅读全文

posted @ 2018-10-25 22:44 末阅读(1542) 评论(0) 推荐(0)

MapReduce分布式编程框架

摘要：一、MapReduce分布式编程框架及yarn集群搭建二、WordCount代码实现 1.Mapper类 2.Reducer类 3.Driver类 4.输入的文件words.txt 5.输出的文件part-r-00000 阅读全文

posted @ 2018-10-25 22:39 末阅读(855) 评论(0) 推荐(0)

HDFS基本工作机制

摘要：阅读全文

posted @ 2018-10-25 22:07 末阅读(247) 评论(0) 推荐(0)

HDFS 手写mapreduce单词计数框架

摘要：一、数据处理类二、接口类三、数据传输类四、单词计数类五、配置文件job.properties 阅读全文

posted @ 2018-10-18 23:54 末阅读(683) 评论(0) 推荐(0)

模拟hadoop-rpc通信

摘要：一、RPC服务类二、自定义遵循的协议类三、自定义协议的实现类四、获取元数据信息（客户端）阅读全文

posted @ 2018-10-18 22:06 末阅读(288) 评论(0) 推荐(0)

IOUtils方式上传下载文件

摘要：package com.css.hdfs04; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; im... 阅读全文

posted @ 2018-10-15 23:30 末阅读(4153) 评论(0) 推荐(1)

HDFS基本操作的API

摘要：一、从hdfs下载文件到windows本地：二、hdfs常用的API：三、hdfs读写文件：阅读全文

posted @ 2018-10-15 23:28 末阅读(1270) 评论(0) 推荐(0)

HDFS基本命令行操作及上传文件的简单API

摘要：一、HDFS基本命令行操作：二、上传文件的简单API：阅读全文

posted @ 2018-10-13 18:11 末阅读(23040) 评论(0) 推荐(0)

HDFS分布式集群安装

摘要：HDFS集群安装： 1.准备工作虚拟机(电脑8G内存磁盘500GB) 3台 linux系统（1台namenode 2台datanode）（1）关闭防火墙 firewall-cmd --state 查看防火墙状态 systemctl stop firewalld.service 关闭防火墙 systemctl... 阅读全文

posted @ 2018-10-13 16:45 末阅读(481) 评论(0) 推荐(0)

Linux进阶

摘要：1.防火墙常用命令 firewall-cmd --state 显示centOS7防火墙状态 systemctl stop firewalld 关闭防火墙 systemctl disable firewalld 禁止开机自启动 2.配置静态IP 修改配置文件： vi /etc/sysconfig/network-scripts/ifcfg-eno1... 阅读全文

posted @ 2018-10-13 16:42 末阅读(160) 评论(0) 推荐(0)

Linux简介

摘要：01.Linux简介 linux是一种自由和开放源代码的类UNIX操作系统。该操作系统的内核由林纳斯·托瓦兹在1991年10月5日首次发布。，在加上用户空间的应用程序之后，成为Linux操作系统。应用：长时间的运行编写的程序代码，可以安装在各种计算机硬件设备中，如：手机、平板电脑、路由器等安卓最底层运行在linux。 ... 阅读全文

posted @ 2018-10-13 16:39 末阅读(461) 评论(0) 推荐(0)

随笔分类 - BigData