随笔分类 - Hadoop
Hadoop下相关知识
摘要：一、什么是RPC？ 1. RPC 的全称是 Remote Procedure Call（远程过程调用）是一种进程间通信方式2. 它允许程序调用另一个地址空间（通常是共享网络的另一台机器上）的过程或函数，而不用程序员显式编码这个远程调用的细节。 即程序员无论是调用本地的还是远程的，本质上编写的调用代码
阅读全文
摘要：一、什么是Avro? 1. Avro是一种远程过程调用和数据序列化框架，是在Apache的Hadoop项目之内开发的2. 它使用JSON来定义数据类型和通讯协议，使用压缩二进制格式来序列化数据3. 它主要用于Hadoop，它可以为持久化数据提供一种序列化格式，并为Hadoop节点间及从客户端程序到H
阅读全文
摘要：一、准备 1.1 下载插件 链接: https://pan.baidu.com/s/15ol7KuQ4mNeAro_pCTnjDA 提取码: 7fq3 1.1.1 将hadoop-eclipse-plugin-2.7.3.jar 放到eclipse的plugins中 1.1.2 把编译后的文件放到h
阅读全文
摘要：一，准备 1.1导入相关jar包 1.2准备数据源 我选了一首歌 二、相关代码 2.1 Map类 public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{ private static Li
阅读全文
摘要：一、扩容 1.1横向扩容：加节点 https://www.cnblogs.com/the-roc/p/12362926.html 1.2纵向扩容：加硬盘 二、纵向扩容 2.1添加硬盘 2.2在关闭虚拟机状况下 添加硬盘 2.3 分区（两个） fdisk /dev/sdb n：分区 p：查看分区表 w
阅读全文
摘要：一、准备虚拟机两台 1.将虚拟机进行克隆https://www.cnblogs.com/the-roc/p/12336745.html 2.1将克隆虚拟机的IP修改一下 vi /etc/sysconfig/network-scripts/ifcfg-ens33 完成后：systemctl resta
阅读全文
摘要：一、准备jar包 lib下所有jar包和图上所示jar包 二、测试 @Test public void test() { //做一个配置 Configuration conf=new Configuration(); //服务器的地址 端口号 conf.set("fs.defaultFS","hdf
阅读全文
摘要：hdfs的基本命令 hdfs dfs -help 查看帮助 在HDFS的文件系统中，HDFS只支持绝对路径 1.-ls: 显示目录信息 hadoop fs -ls / 列出指定目录下的内容 2.-lsr: 递归显示文件信息 hadoop fs -lsr / 递归列出该路径下所有子目录信息 3.-mk
阅读全文
摘要：一、准备 1，配通网络 ping www.baidu.com 之前安装虚拟机时配过 2，关闭防火墙 systemctl stop firewalld systemctl disable firewalld（开机自动关闭） 3，关闭 selinux vi /etc/selinux/config 修改为
阅读全文
浙公网安备 33010602011771号