2018年7月30日
摘要: 搭建开发环境 1、引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</version> </dependency> 2、window 阅读全文
posted @ 2018-07-30 21:36 wuyl 阅读(332) 评论(0) 推荐(0) 编辑
摘要: 什么是HDFS,有什么特点特性 它是一个文件系统,用于存储文件,通过统一的命名空间——目录树来定位文件. 其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色; 特性: (1)HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数( dfs.blocks 阅读全文
posted @ 2018-07-30 21:33 wuyl 阅读(188) 评论(0) 推荐(0) 编辑
  2018年7月28日
摘要: win10已经编译好的hadoop2.6.5 https://pan.baidu.com/s/1kmzzBcMsf2g4stPZ4hZL_g 阅读全文
posted @ 2018-07-28 23:56 wuyl 阅读(728) 评论(0) 推荐(0) 编辑
摘要: -help 功能:输出这个命令参数手册 -ls 功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 -->hadoop fs -ls / 等同于上一条命令的效果 -mkdir 功能:在hdf 阅读全文
posted @ 2018-07-28 16:38 wuyl 阅读(238) 评论(0) 推荐(0) 编辑
摘要: 1、首先准备4台能上网的机器,主机名叫shizhan01,shizhan02,shizhan03,shizhan04 2、修改主机名和IP的映射关系 vim /etc/hosts 如下: 每一台机器都要配置 192.168.137.200 shizhan01192.168.137.201 shizh 阅读全文
posted @ 2018-07-28 15:42 wuyl 阅读(411) 评论(0) 推荐(0) 编辑
  2018年7月22日
摘要: https://pan.baidu.com/s/19XKQcYqgwVJCwMVFPG3_Gw 阅读全文
posted @ 2018-07-22 23:29 wuyl 阅读(220) 评论(0) 推荐(0) 编辑
  2018年7月18日
摘要: Zookeeper概念简介: Zookeeper是一个分布式协调服务;就是为用户的分布式应用程序提供协调服务 1、zookeeper是为别的分布式程序服务的(比如服务管理、心跳检查、配置信息管理) 2、Zookeeper本身就是一个分布式程序(只要有半数以上节点存活,zk就能正常服务) 3、Zook 阅读全文
posted @ 2018-07-18 18:48 wuyl 阅读(2158) 评论(0) 推荐(0) 编辑
  2018年7月15日
摘要: 1、本地yum仓库的安装配置两种方式: 1、每一台机器都配一个本地文件系统上的yum仓库 file:///packege/path/2、在局域网内部配置一台节点(server-base)的本地文件系统yum仓库,然后将其发布到web服务器中, 其他节点就可以通过http://server-base/ 阅读全文
posted @ 2018-07-15 09:09 wuyl 阅读(145) 评论(0) 推荐(0) 编辑
  2018年6月8日
摘要: iptables简介及相关服务的命令 Iptables也叫netfilter是Linux下自带的一款免费且优秀的基于包过滤的防火墙工具,它的功能十分强大,使用非常灵活,可以对流入、流出、流经服务器的数据包进行精细的控制。iptables是Linux2.4及2.6内核中集成的模块。在iptables中 阅读全文
posted @ 2018-06-08 12:09 wuyl 阅读(124) 评论(0) 推荐(0) 编辑
  2018年5月17日
摘要: 1. Nginx相关概念 1.1. 反向代理 反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个服务器。 1.2. 负载均衡 阅读全文
posted @ 2018-05-17 12:55 wuyl 阅读(164) 评论(0) 推荐(0) 编辑