摘要：
一、HDFS概述 数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。 是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。 通透 阅读全文
posted @ 2019-12-16 19:40
Xiaohu_BigData
阅读(913)
评论(0)
推荐(0)
摘要：
这里我提供 服务端和客户端的两个jar包的百度云，也是我使用的 链接：https://pan.baidu.com/s/11a3LT-ENZ8n9IF19-VjmWA 提取码：bdls 离线安装Mysql 1°、查看mysql的依赖 rpm -qa | grep mysql 2°、删除mysql的依赖 阅读全文
posted @ 2019-12-15 16:53
Xiaohu_BigData
阅读(484)
评论(0)
推荐(0)
摘要：
Hadoop 基本概念 一、Hadoop出现的前提环境 随着数据量的增大带来了以下的问题 （1）如何存储大量的数据？ （2）怎么处理这些数据？ （3）怎样的高效的分析这些数据？ （4）在数据增长的情况下如何构建一个解决方案？ 在大数据领域提出了两个概念 （1）分布式文件系统 用于存储大量的数据 （2 阅读全文
posted @ 2019-12-15 14:59
Xiaohu_BigData
阅读(313)
评论(0)
推荐(0)
摘要：
一、前述 分享一篇hadoop的常用命令的总结，将常用的Hadoop命令总结如下。 二、具体 1、启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yarn.sh 但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。 2、 阅读全文
posted @ 2019-12-15 14:18
Xiaohu_BigData
阅读(387)
评论(0)
推荐(0)
摘要：
前提工作： 克隆2台虚拟机完成后：新的2台虚拟机，请务必依次修改3台虚拟机的ip地址和主机名称【建议三台主机名称依次叫做：master、node1、node2 】 上一篇博客 （三台虚拟机都要开机） Hadoop2.6.0 的压缩包，这里我提供百度云，没有的可以进行下载 链接：https://pan 阅读全文
posted @ 2019-12-15 13:54
Xiaohu_BigData
阅读(1688)
评论(3)
推荐(0)
摘要：
1、安装vmware，务必以管理员身份运行 操作系统(CentOS 6.5)的配置 准备工作：虚拟机安装三台linux 本次测试是 centos 6.5，(三台虚拟机的系统时间保持一致) *安装jdk（在另外一个文档中） *克隆虚拟机 *在vmware设置-克隆（虚拟机要关机，jdk要配置好） 选择 阅读全文
posted @ 2019-12-15 13:32
Xiaohu_BigData
阅读(488)
评论(0)
推荐(0)
摘要：
为什么使用Lambda表达式？（做为初学者接触这个新的语法，会很懵逼，说道理，我在接触到这一块的时候，语法规则我看到了也很懵逼，因为这个和逻辑的关系不是很大，但就是作为一种新的语法出现，一时间很难接受。所以，只要我们多加练习，熟悉了就会接受了，记住，要多加练习！！就像你和一个刚刚学习Java的人来说 阅读全文
posted @ 2019-12-11 20:20
Xiaohu_BigData
阅读(446)
评论(0)
推荐(0)
摘要：
默认配置 导致的错误 1、直接就是黑屏，连杠杠都没有 2、centos系统关不掉 3、关闭vmware提示：虚拟机XXX繁忙 解决方式 一（我的失败，依旧不行）1、强制关闭vmware，重启计算机（不重启虚拟机重新开提示占用，网上删.lck方式试过没用） 2、编辑虚拟机设置 3、内存改为2GB 处理 阅读全文
posted @ 2019-12-10 11:59
Xiaohu_BigData
阅读(17632)
评论(1)
推荐(1)
摘要：
上一节，介绍了VMware的下载与安装、安装CentOS 在企业中，我们大多数是不会有界面化操作的，领导也不会直接给你账户的，我们需要自己从外部链接到Linux系统进行操作，对Linux系统的操作都在外部。 比较常用的Xshell 这里我同样给出百度云链接： 链接：https://pan.baidu 阅读全文
posted @ 2019-12-10 00:49
Xiaohu_BigData
阅读(865)
评论(0)
推荐(0)
摘要：
好了，从今天开始就开始正式的进入大数据道路的轨道上了，当然了，Java 也是需要不断地在日后进行反复地学习，熟练掌握。（这里我要说一下，Java种还有一些I/O流、Lambda表达式和一些常用工具类有关的博客没有更新、在后面的学习中，我会抽空进行补充。） 在此之前，希望每个学习大数据的童鞋们，电脑的 阅读全文
posted @ 2019-12-10 00:33
Xiaohu_BigData
阅读(801)
评论(0)
推荐(0)
浙公网安备 33010602011771号