随笔分类 -  hadoop

HDFS 2.X新特性
摘要：1.1 集群间数据拷贝 1．scp实现两个远程主机之间的文件复制 scp -r hello.txt root@hadoop103:/user/jenkin/hello.txt // 推 push scp -r root@hadoop103:/user/jenkin/hello.txt hello.t 阅读全文
posted @ 2021-01-21 16:50 lvtu丶 阅读(47) 评论(0) 推荐(0)
win10-idea连接hdfs集群
摘要：1、 创建maven项目 2、 打开项目目录下的pom.xml文件，添加如下依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version 阅读全文
posted @ 2021-01-15 10:58 lvtu丶 阅读(259) 评论(0) 推荐(0)
hadoop-源码编译
摘要：1、配置网络环境及jar准备 hadoop-2.7.2-src.tar.gz jdk-8u144-linux-x64.tar.gz apache-ant-1.9.9-bin.tar.gz（build工具，打包用的） apache-maven-3.0.5-bin.tar.gz protobuf-2.5 阅读全文
posted @ 2021-01-11 14:31 lvtu丶 阅读(125) 评论(0) 推荐(0)
集群测试
摘要：hdfs 上传小文件到集群 上传大文件到集群 hdfs每个block默认为128m，大于128m的会进行分块存储，下载时为完整下载 文件在hdfs的实际路径 查看HDFS在磁盘存储文件内容 文件删除与验证 阅读全文
posted @ 2021-01-10 14:55 lvtu丶 阅读(134) 评论(0) 推荐(0)
hadoop完全分布式
摘要：虚拟机克隆 a. vim /etc/udev/rules.d/70-persistent-net.rules 更改网卡名 b. vim /etc/sysconfig/network-scripts/ifcfg-eth0 更新网卡 c. vim /etc/sysconfig/network 更改主机名 阅读全文
posted @ 2021-01-09 19:36 lvtu丶 阅读(35) 评论(0) 推荐(0)
Hadoop伪分布式模式
摘要：搭建在单一服务器 基于官方文档 http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation 1、配置：hadoop-env 阅读全文
posted @ 2021-01-08 23:31 lvtu丶 阅读(73) 评论(0) 推荐(0)