04 2020 档案

hdfs的Java Api开发
摘要：1.创建maven工程并导入jar包 jdk使用1.8、maven3.x版本 pom.xml添加一下内容 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cl 阅读全文
posted @ 2020-04-08 23:43 _蒲公英_ 阅读(412) 评论(0) 推荐(0)
hdfs内幕解析
摘要：1.hdfs的架构以及block块和副本机制 hdfs分布式文件系统也是一个主从架构，主节点是我们的namenode，负责整个集群以及维护集群的元数据信息。从节点是datanode，主要负责文件数据存储。 hdfs将所有的文件全部抽象为block块来进行存储，不管文件大小，全部一视同仁都是以bloc 阅读全文
posted @ 2020-04-07 18:30 _蒲公英_ 阅读(199) 评论(0) 推荐(0)
hdfs的安全模式
摘要：安全模式是hdfs所处的一种特殊状态，在这种状态下，文件系统只接受读数据的请求，而不接受删除修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，在整个系统达到安全标准时（最小副本数不小于99.9%，小于 阅读全文
posted @ 2020-04-06 23:49 _蒲公英_ 阅读(487) 评论(0) 推荐(0)
hdfs的shell操作
摘要：1.shell的操作命令 hdfs命令有两种风格：hadoop fs、hdfs dfs 两种命令均可使用，效果相同。 1）查看子命令 hadoop fs、hdfs dfs 2）如果查看hdfs或hadoop子命令信息 hdfs dfs -help shellCmd hadoop fs -help s 阅读全文
posted @ 2020-04-06 23:14 _蒲公英_ 阅读(966) 评论(0) 推荐(0)
Macbook 安装VMware专业版11.0.1
摘要：软件版本：VMware Fusion 11.0.1 系统版本：MacOs 10.15.4 1.下载VMware Fusion 百度网盘下载地址 密码: 8dcd 2.安装并破解VM（商用请使用正版） a.双击下图文件 b.出现下图双击图标 c.出现下图点击打开 d.安装并输入激活码。 3.关闭自动更 阅读全文
posted @ 2020-04-04 17:37 _蒲公英_ 阅读(1857) 评论(0) 推荐(0)
hdfs功能详解
摘要：1.分布式文件系统理解 使用低配置电脑配置成集群，存储管理单台电脑不能处理的大型文件。 直观理解三个臭皮匠，顶个诸葛亮。 很多磁盘加一起就可以装超多电影。 类似于你出5毛，我出5毛，我们一起凑一块。 2.hdfs优缺点 优点： a.高容错性：数据自动保存多个副本；通过增加副本的形式，提高容错性。一个 阅读全文
posted @ 2020-04-03 15:55 _蒲公英_ 阅读(1191) 评论(0) 推荐(0)
Linux关闭防火墙
摘要：1.Centos 7 关闭防火墙：systemctl stop firewalld 打开防火墙：systemctl start firewalld 查看防火墙开启信息：systemctl status firewalld 关闭开机启动防火墙：systemctl disable ffirewalld 阅读全文
posted @ 2020-04-03 11:54 _蒲公英_ 阅读(689) 评论(0) 推荐(0)
Hadoop简介
摘要：1.Hadoop的发展历史起源介绍 a.Hadoop最早起源于Nutch、Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询的功能，但随着抓取网页数量的增加，遇到了严重的可扩展的问题——如何解决数10亿网页的存储和索引问题。 b.2003、2004年谷歌发表的两篇论文为该问题 阅读全文
posted @ 2020-04-03 11:30 _蒲公英_ 阅读(466) 评论(0) 推荐(0)
linux实用故障排查（大并发，大数据）
摘要：1.排查思路 大数据集群运行在linux系统上总会遇见各种各样的问题，我们要定位问题，基本上可以从这几个方面入手排查：cpu、内存、磁盘io、网络、GC等。 2.cpu 一些概念：多核，超线程，cpu频率（2.2GHZ） （节能模式，普通模式，超能模式：biso里设置，搭建集群要注意下这个参数尽量关 阅读全文
posted @ 2020-04-01 16:33 _蒲公英_ 阅读(661) 评论(0) 推荐(0)