上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 24 下一页
2020年7月17日
MapReduce之 FileInputFormat的切片策略(默认)
摘要： ①获取当前输入目录中所有的文件 ②以文件为单位切片，如果文件为空文件，默认创建一个空的切片 ③如果文件不为空，尝试判断文件是否可切(不是压缩文件，都可切) ④如果文件不可切，整个文件作为1片 ⑤如果文件可切，先获取片大小(默认等于块大小)，循环判断 待切部分/ 片大小 > 1.1，如果大于先切去一片 阅读全文
posted @ 2020-07-17 16:24 孙晨c 阅读(304) 评论(0) 推荐(1)
MapReduce的常见输入格式之KeyValueTextInputFormat
摘要： 有一文件，如图所示 每行第一个字段为名字，后面的则为该人的一些信息，所以此时的输入格式应该是以每一行的名字为Key，每一行的其他信息为Value。 KeyValueTextInputFormat 作用： 针对文本文件！使用分割字符，分隔符前的为Key，分隔符后的为value，所以这种输入格式就是将每 阅读全文
posted @ 2020-07-17 16:19 孙晨c 阅读(552) 评论(0) 推荐(0)
MapReduce的常见输入格式之NlineInputFormat
摘要： 有两个文件： NlineInputFormat 切片策略： 读取配置文件中的参数mapreduce.input.lineinputformat.linespermap，默认为1，以文件为单位，切片每此参数行作为1片！ 既然有参数，那就可以修改，设置为每N行切为一片： Configuration co 阅读全文
posted @ 2020-07-17 16:03 孙晨c 阅读(521) 评论(0) 推荐(0)
2020年7月16日
OSI物理层之信道复用技术
摘要： 复用（multiplexing）是通信技术中的基本概念。 @ 频分复用 FDM（Frequency Division Multiplexing） 用户在分配到一定的频带后，在通信过程中自始至终都占用这个频带。 频分复用的所有用户在同样的时间占用不同的带宽资源（请注意，这里的“带宽”是频率带宽而不是数 阅读全文
posted @ 2020-07-16 17:15 孙晨c 阅读(500) 评论(0) 推荐(0)
OSI物理层之传输媒体
摘要： @ 导向传输媒体 导向传输媒体中，电磁波沿着固体媒体传播。 双绞线 屏蔽双绞线STP 无屏蔽双绞线 UTP 同轴电缆 50Ω同轴电缆用于数字传输，由于多用于基带传输，也叫基带同轴电缆 75Ω同轴电缆用于模拟传输，即宽带同轴电缆 光纤 非导向传输媒体 非导向传输媒体就是指自由空间，其中的电磁波传输被称 阅读全文
posted @ 2020-07-16 16:33 孙晨c 阅读(295) 评论(0) 推荐(0)
2020年7月15日
使用MapReduce运行自定义bean案例
摘要： 如果一个文件的内容不只是简单的单词，而是类似于一个对象那般，有多种属性值，如： 在这个文件中，每一行的内容分别代表：手机号、IP、访问网站、上行流量、下行流量、状态码，现在需要统计每个手机号访问网站的上行流量、下行流量以及它们的总和。由于mapper按照每行进行切片，不妨创建一个bean，封装这些属 阅读全文
posted @ 2020-07-15 20:38 孙晨c 阅读(204) 评论(0) 推荐(0)
使用MapReduce运行WordCount案例
摘要： @ 一、准备数据 注意：准备的数据的格式必须是文本，每个单词之间使用制表符分割。编码必须是utf-8无bom 二、MR的编程规范 MR的编程只需要将自定义的组件和系统默认组件进行组合，组合之后运行即可！ 三、编程步骤 ①Map阶段的核心处理逻辑需要编写在Mapper中 ②Reduce阶段的核心处理逻 阅读全文
posted @ 2020-07-15 12:01 孙晨c 阅读(617) 评论(0) 推荐(2)
2020年7月13日
OSI物理层之数据通信基础知识
摘要： @ 物理层的基本概念 物理层解决如何在连接各种计算机的传输媒体上传输数据比特流，而不是指具体的传输媒体。 物理层的主要任务 确定与传输媒体的接口的一些特性，即： 机械特性：例接口形状，大小，引线数目 电气特性：例规定电压范围（-5v到+5V） 功能特性：例规定-5V表示0，+5V表示1 过程特性：也 阅读全文
posted @ 2020-07-13 22:42 孙晨c 阅读(599) 评论(0) 推荐(0)
2020年7月12日
如何在集群里服役新节点、退役旧节点(DataNode)
摘要： 准备好新的数据节点(DataNode) ①准备机器，配置好JDK、hadoop的环境变量，在hdfs-site.xml和yarn-site.xml文件中分别配置NameNode和ResourceManager所在主机名 ②待服役成功后，启动datanode和nodemanager进程即可 ③服役了新 阅读全文
posted @ 2020-07-12 16:36 孙晨c 阅读(353) 评论(0) 推荐(0)
2020年7月11日
MapReduce的运行流程概述
摘要： MapReduce处理数据的大致流程 ①InputFormat调用RecordReader，从输入目录的文件中，读取一组数据，封装为keyin-valuein对象 ②将封装好的key-value，交给Mapper.map() >将处理的结果写出 keyout-valueout ③ReduceTask 阅读全文
posted @ 2020-07-11 23:59 孙晨c 阅读(466) 评论(0) 推荐(0)
上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 24 下一页