01 2021 档案

git基本命令
摘要：1.其它git init：初始化本地库git status：查看工作区、暂存区的状态git add <file name>：将工作区的“新建/修改”添加到暂存区git rm --cached <file name>：移除暂存区的修改git commit <file name>：将暂存区的内容提交到本 阅读全文
posted @ 2021-01-29 14:21 lvtu丶 阅读(65) 评论(0) 推荐(0)
自定义bean对象实现序列化接口（Writable）
摘要：具体实现bean对象序列化步骤如下7步。 （1）必须实现Writable接口 （2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造 public FlowBean() { super(); } （3）重写序列化方法 @Override public void write(DataOutpu 阅读全文
posted @ 2021-01-22 18:24 lvtu丶 阅读(234) 评论(0) 推荐(0)
HDFS 2.X新特性
摘要：1.1 集群间数据拷贝 1．scp实现两个远程主机之间的文件复制 scp -r hello.txt root@hadoop103:/user/jenkin/hello.txt // 推 push scp -r root@hadoop103:/user/jenkin/hello.txt hello.t 阅读全文
posted @ 2021-01-21 16:50 lvtu丶 阅读(60) 评论(0) 推荐(0)
win10-idea连接hdfs集群
摘要：1、 创建maven项目 2、 打开项目目录下的pom.xml文件，添加如下依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEASE</version 阅读全文
posted @ 2021-01-15 10:58 lvtu丶 阅读(272) 评论(0) 推荐(0)
centos6-yum源失效问题
摘要：解决方案 使用阿里的云仓库 curl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpan.com/Centos-6-Vault-Aliyun.repo 清理和构建新缓存 yum clean all yum makecache 阅读全文
posted @ 2021-01-11 14:35 lvtu丶 阅读(163) 评论(0) 推荐(0)
hadoop-源码编译
摘要：1、配置网络环境及jar准备 hadoop-2.7.2-src.tar.gz jdk-8u144-linux-x64.tar.gz apache-ant-1.9.9-bin.tar.gz（build工具，打包用的） apache-maven-3.0.5-bin.tar.gz protobuf-2.5 阅读全文
posted @ 2021-01-11 14:31 lvtu丶 阅读(138) 评论(0) 推荐(0)
集群测试
摘要：hdfs 上传小文件到集群 上传大文件到集群 hdfs每个block默认为128m，大于128m的会进行分块存储，下载时为完整下载 文件在hdfs的实际路径 查看HDFS在磁盘存储文件内容 文件删除与验证 阅读全文
posted @ 2021-01-10 14:55 lvtu丶 阅读(145) 评论(0) 推荐(0)
hadoop完全分布式
摘要：虚拟机克隆 a. vim /etc/udev/rules.d/70-persistent-net.rules 更改网卡名 b. vim /etc/sysconfig/network-scripts/ifcfg-eth0 更新网卡 c. vim /etc/sysconfig/network 更改主机名 阅读全文
posted @ 2021-01-09 19:36 lvtu丶 阅读(46) 评论(0) 推荐(0)
Hadoop伪分布式模式
摘要：搭建在单一服务器 基于官方文档 http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation 1、配置：hadoop-env 阅读全文
posted @ 2021-01-08 23:31 lvtu丶 阅读(76) 评论(0) 推荐(0)
网络设置-指定ip
摘要：1 克隆centos6、设置网卡 vim /etc/udev/rules.d/70-persistent-net.rules 确定光标所在的位置 d3d删除以下三行，更改NAME为0 vim /etc/sysconfig/network-scripts/ifcfg-eth0 网卡标红的地方做出修改 阅读全文
posted @ 2021-01-07 17:03 lvtu丶 阅读(113) 评论(0) 推荐(0)
VI/VIM编辑器
摘要：一般模式 语法 功能描述 yy 复制光标当前一行 y数字y 复制一段（从第几行到第几行） p 箭头移动到目的行粘贴 u 撤销上一步 dd 删除光标当前行 d数字d 删除光标（含）后多少行 x 删除一个字母，相当于del X 删除一个字母，相当于Backspace yw 复制一个词 dw 删除一个词 阅读全文
posted @ 2021-01-07 14:59 lvtu丶 阅读(96) 评论(0) 推荐(0)
hadoop目录结构
摘要：Hadoop目录结构 重要目录结构： bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本 etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件 lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能） sbin目录：存放启动或停止Hadoop相关服务的脚 阅读全文
posted @ 2021-01-07 10:14 lvtu丶 阅读(210) 评论(0) 推荐(0)
centos6.8环境搭建
摘要：1、centos6 yum源失效解决方案 下载使用阿里的云仓库 curl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpan.com/Centos-6-Vault-Aliyun.repo 清理和构建新缓存 yum clean all yum 阅读全文
posted @ 2021-01-07 09:51 lvtu丶 阅读(96) 评论(0) 推荐(0)