09 2020 档案

MapReduce排序
摘要：需求介绍 现有如下数据： 1 13736230513 192.196.100.1 www.atguigu.com 2481 24681 200 2 13846544121 192.196.100.2 264 0 200 3 13956435636 192.196.100.3 132 1512 200 阅读全文
posted @ 2020-09-28 21:04 Nevesettle 阅读(201) 评论(0) 推荐(0)
MapReduce简单执行过程及Wordcount案例
摘要：MapReducer运行过程 以单词统计为案例。 假如现在文件中存在如下内容： aa bb aa cc dd aa 当然，这是小文件，如果文件大小较大时会将文件进行 “切片” ，此处的切片和 HDFS 的 “分块”概念不同。 “切片” 是将文件进行逻辑的划分，而 “分块” 是进行物理的划分。 即 “ 阅读全文
posted @ 2020-09-23 22:57 Nevesettle 阅读(687) 评论(0) 推荐(0)
HDFS客户端操作（JAVA代码）
摘要：环境准备 windows需要配置hadoop的windows下的依赖 安装包地址： 链接：https://pan.baidu.com/s/1QtbH-x-S0QytkmaoSosdEw 提取码：2ktw 将安装包解压至自己所选择的目录，然后配置环境变量： HADOOP_HOME : 解压的目录 PA 阅读全文
posted @ 2020-09-20 16:42 Nevesettle 阅读(343) 评论(1) 推荐(0)
虚拟机(centos7)网络配置
摘要：修改网络配置（ip等） VWware右上角，选择编辑 虚拟网络编辑器 可以看到子网ip是 192.168.1.0，那么我们分配ip地址就可以从此ip段开始。 再点击NAT设置 这里的网关我们稍后会用到 输入命令： vim /etc/sysconfig/network-script/ifcfg-ent 阅读全文
posted @ 2020-09-15 22:14 Nevesettle 阅读(558) 评论(0) 推荐(0)
安装虚拟机(centos7)
摘要：安装VMware 15 这里就不介绍VMware如何安装了，可以自行百度安装。 准备centos7镜像 我选择的是网易的镜像源，地址是：http://mirrors.163.com/centos/7/isos/x86_64/ 选择第二个进行下载 安装向导 VMware选择创建虚拟机 自定义 硬件兼容 阅读全文
posted @ 2020-09-15 21:14 Nevesettle 阅读(456) 评论(0) 推荐(1)
linux_vim
摘要：以vi打开一个文件就是一般模式，这个模式可以删除、复制、粘贴 yy 复制当前一行 y 数字y 复制几行（从光标位置开始） p 粘贴 u 恢复到最初的状态 dd 删除一行 d 数字 d 删除几行 x 向后删除一个字母 X 向前删除一个字母 shift+^ 移到行头 shift+$ 移动到行尾 gg 移 阅读全文
posted @ 2020-09-12 09:33 Nevesettle 阅读(104) 评论(0) 推荐(0)