脆皮软心 - 博客园

2018年9月17日

摘要： HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目，是横向扩展的。 HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力。它是Hadoop的生态系统，提供对数据的随机实时读/写访阅读全文

posted @ 2018-09-17 19:42 脆皮软心阅读(254) 评论(0) 推荐(0)

HDFS读写文件流程

摘要： 1详细的读写流程 https://blog.csdn.net/qq_41544550/article/details/90412767 2. 读取：写入： https://www.imooc.com/article/70527 阅读全文

posted @ 2018-09-17 15:45 脆皮软心阅读(154) 评论(0) 推荐(0)

Hadoop常见问题

摘要： 1、列出Hadoop集群的Hadoop守护进程和相关的角色。 Namenode：它运行上Master节点（主节点）上，负责存储的文件和目录所有元数据。它管理文件的块信息，以及块在集群中分布的信息。（管理文件系统的命名空间和客户端对文件的访问操作） Datanode：它是一个存储实际数据的Slave节阅读全文

posted @ 2018-09-17 15:36 脆皮软心阅读(277) 评论(0) 推荐(0)

MapReduce的主要的六个类讲解

摘要： a、InputFormat类。该类的作用是将输入的文件和数据分割成许多小的split文件，并将split的每个行通过LineRecorderReader解析成<Key,Value>,通过job.setInputFromatClass()函数来设置，默认的情况为类TextInputFormat，其阅读全文

posted @ 2018-09-17 13:51 脆皮软心阅读(510) 评论(0) 推荐(0)

2018年9月14日

Spark教程

摘要：不错的Spark在线教程 https://blog.csdn.net/see_you_see_me/article/details/76165912 https://blog.csdn.net/book_mmicky/article/details/25714419 https://me.csdn. 阅读全文

posted @ 2018-09-14 10:48 脆皮软心阅读(154) 评论(0) 推荐(0)

2018年9月10日

常用vim命令

摘要： gg:移到首行 G ：光标移到最后一行 ) ：光标移至句尾 ( ：光标移至句首 }：光标移至段落开头 {：光标移至段落结尾 nG：光标移至第n行首 n+：光标下移n行 n-：光标上移n行 0：（注意是数字零）光标移至当前行首 $：光标移至当前行尾删除命令： dd 删除当前行删除全部：方法1: 阅读全文

posted @ 2018-09-10 15:56 脆皮软心阅读(143) 评论(0) 推荐(0)

所有节点配置NTP服务

摘要：主节点：打开vim /etc/ntp.conf文件从节点 vim vim /etc/ntp.conf 阅读全文

posted @ 2018-09-10 14:18 脆皮软心阅读(669) 评论(0) 推荐(0)

2018年9月7日

修改虚拟机IP地址

摘要： Linux环境下IP地址配置文件路径： vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0"BOOTPROTO="static"HWADDR="00:0C:29:3A:56:B2"IPV6INIT="yes"NM_CONTROLLED 阅读全文

posted @ 2018-09-07 15:44 脆皮软心阅读(1404) 评论(0) 推荐(0)

2018年9月5日

虚拟机安装MySQL报** is needed by **错误

摘要：执行命令： [root@node1 local]# rpm -ivh mysql-community-server-8.0.12-1.el7.x86_64.rpm 安装MySQL遇到以下问题：解决办法：阅读全文

posted @ 2018-09-05 17:25 脆皮软心阅读(841) 评论(0) 推荐(0)

shell 命令下载软件安装软件

摘要：下载命令：wget URL地址安装 rpm -ivh 文件地址阅读全文

posted @ 2018-09-05 16:28 脆皮软心阅读(233) 评论(0) 推荐(0)