Hadoop - 随笔分类 - itch

Protobuf

摘要：概述 Protobuf是一种高效轻便的结构化数据存储方式，可用于（数据）通信协议、数据存储等 Protobuf用于 RPC 系统和持续数据存储系统可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式目前提供了 C++、Java、Python 三种语言的 API 特点平阅读全文

posted @ 2020-04-15 11:24 itch 阅读(423) 评论(0) 推荐(0)

Avro实现RPC

摘要：RPC是什么？ RPC是指远程过程调用【是一种进程间的通信方式】例如两台服务器A，B，一个应用部署在A上面，A想要调B服务器上的函数或者方法，由于不在一个内存空间，不能直接调用，需要通过网络来传达调用的数据 RPC的特点？简单：语义清晰简单，建立分布式计算更加容易高效：远程调用简单高效通用：阅读全文

posted @ 2020-04-14 23:29 itch 阅读(483) 评论(0) 推荐(0)

序列化框架Avro

摘要：1.Avro介绍 Avro是Hadoop中的一个子项目 Avro是基于二进制传输高性能的中间件【Hbase和Hive的客户端与服务端的数据传输也采用该工具】 Avro可以将数据进行序列化，适用远程和本地大批量数据的交互 Avro可以支持对定义的数据结构(Schema)进行动态加载，提高性能 2.Av 阅读全文

posted @ 2020-04-13 20:08 itch 阅读(553) 评论(0) 推荐(0)

Hadoop插件的安装及使用-eclipse

摘要：一.Hadoop插件的安装-eclipse 1.将插件放到eclipse的plugins的目录下 2.将Window编译后的hadoop文件放到hadoop的bin目录下 3.添加环境变量的支持 4.开放HDFS的权限常规操作：将程序开发完成之后，直接将项目打包，然后rz到HDFS上执行修改hd 阅读全文

posted @ 2020-03-04 21:28 itch 阅读(947) 评论(0) 推荐(0)

第一个MapReduce程序-词频统计

摘要：最终结果展示：一.MapReduce的概念 1）MapReduce是一个离线计算的框架 2）MPAReduce是基于HDFS之上的，没有HDFS就没有MapReduce 3）MapReduce由两个阶段组成：Map和Reduce，用户只需实现map()和reduce()即可完成分布式计算 4）Ma 阅读全文

posted @ 2020-03-01 14:44 itch 阅读(611) 评论(0) 推荐(0)

HDFS客户端读写流程及checkpoint

摘要：1.HDFS客户端写流程 1）客户端请求上传数据到服务器 2）服务器接收到这个请求，然后到自己的元数据里面去查询，元数据中是否记录了该文件的存在 3）NN响应客户端是否可以上传 4）服务器会发送再次请求，需要上传多大的数据文件 5）服务器会检查DataNode的信息 6）服务器会根据上传文件大小进行阅读全文

posted @ 2020-02-29 12:53 itch 阅读(284) 评论(0) 推荐(0)

HDFS扩容

摘要：HDFS的扩容方式方式一：横向扩容，添加节点：参考https://www.cnblogs.com/IT_CH/p/12361096.html 方式二：纵向扩容，通过添加硬盘，扩充HDFS的容量【通过增加DataNode的容量实现纵向扩容】如何纵向扩容？ 1.添加一块新硬盘通过lsblk命令查看阅读全文

posted @ 2020-02-26 10:41 itch 阅读(461) 评论(0) 推荐(0)

完全分布式搭建及脚本启动

摘要：一.完全分布式的搭建先准备2台虚拟机： 1) 将原来搭建伪分布式的那台虚拟机克隆一台：https://www.cnblogs.com/IT_CH/p/12336594.html 2) 对克隆的机器做修改如下几个配置（1）修改克隆机器的IP地址修改完之后记得重启网络：systemctl rest 阅读全文

posted @ 2020-02-25 12:41 itch 阅读(538) 评论(0) 推荐(0)

Java Api操作HDFS

摘要：小广告...：https://www.mvclub.xyz/【个人搭建的一个电影网站】使用idea工具创建的是maven项目，操作linux环境首先需要配置好Maven环境，如果下载jar包下的慢，可以将镜像站换为阿里云的镜像【配置maven环境参考：...............(待完成)】阅读全文

posted @ 2020-02-22 15:04 itch 阅读(1131) 评论(0) 推荐(0)

Hadoop命令 hadoop fs

摘要：命令的基本格式：在HDFS的文件系统中，HDFS只支持绝对路径 hadoop【程序】 fs【菜单】 -help【菜单下的一个子选项】查看帮助 1.-ls 显示目录信息 hadoop fs -ls / 查看根目录下面的所有文件和文件夹【只能看到第一层的东西】 2.-lsr 递归显示文件信息 hado 阅读全文

posted @ 2020-02-21 08:53 itch 阅读(1007) 评论(0) 推荐(0)

Hadoop的安装与配置（伪分布式）

摘要：0.环境准备（准备一台空白的虚拟机） 1.对上传的软件做管理（规划） cd /opt目录下：mkdir insytall software test other /opt/install 上传用 /opt/software 安装用（解压后的） /opt/other 其他软件 /opt/test 测试阅读全文

posted @ 2020-02-20 17:28 itch 阅读(609) 评论(0) 推荐(0)

itch

随笔分类 - Hadoop

公告