给你一个公主抱

2019年3月24日

摘要：一、Yarn集群概述及搭建 1.Mapreduce程序运行在多台机器的集群上，而且在运行是要使用很多maptask和reducertask，这个过程中需要一个自动化任务调度平台来调度任务，分配资源，这个平台就是Yarn！ 2.Yarn提交任务的流程：当我们向Yarn集群提交任务后，Yarn通过Re 阅读全文

posted @ 2019-03-24 01:47 给你一个公主抱阅读(585) 评论(0) 推荐(0) 编辑

Mapreduce概述和WordCount程序

摘要：一、Mapreduce概述 Mapreduce是分布式程序编程框架，也是分布式计算框架，它简化了开发！ Mapreduce将用户编写的业务逻辑代码和自带默认组合整合成一个完整的分布式运算程序，并发的运行在hadoop集群上。二、Mapreduce优缺点优点：1.易于编程：只用实现几个接口即可完成阅读全文

posted @ 2019-03-24 01:08 给你一个公主抱阅读(315) 评论(0) 推荐(0) 编辑

2019年3月23日

HDFS及其各组件的机制

摘要：一、HDFS运行机制概述：用户的文件会被切块后存储在多台datanode节点中，并且每个文件在整个集群中存放多个副本，副本的数量可以通过修改配置自己设定。 HDFS：Hadoop Distributed file system，分布式文件系统。 HDFS的机制： HDFS集群中，有两种节点，分别为阅读全文

posted @ 2019-03-23 14:48 给你一个公主抱阅读(2500) 评论(0) 推荐(0) 编辑

2019年3月22日

HDFS常用API（2）

摘要：一、读取HDFS文件数据、将本地文件写入HDFS中文件、使用IOUtils读写数据阅读全文

posted @ 2019-03-22 22:34 给你一个公主抱阅读(257) 评论(0) 推荐(0) 编辑

HDFS常用API（1）

摘要：一、HDFS集群API所需要jar包的maven配置信息二、从HDFS下载数据文件/上传文件到HDFS文件系统思路：1.获取配置信息 2.设置配置信息(块大小、副本数) 3.构造客户端 4.下载数据文件/上传数据文件 5.关闭资源 (1)下载文件（2）上传文件三、对HDFS系统进行操作的AP 阅读全文

posted @ 2019-03-22 22:28 给你一个公主抱阅读(607) 评论(0) 推荐(0) 编辑

HDFS分布式文件系统的常用命令行操作

摘要：一、HDFS的客户端种类 1.网页形式 =>用于测试网址为你的namenode节点的ip+50070的端口号，如： 192.168.50.128:50070 2.命令行形式 =>用于测试 3.企业级API 二、HDFS客户端的命令行操作注释：/hdfs为HDFS上的目录 /root/linux为阅读全文

posted @ 2019-03-22 16:11 给你一个公主抱阅读(817) 评论(0) 推荐(0) 编辑

大数据及Hadoop的概述

摘要：一、大数据存储和计算的各种框架即工具 1.存储：HDFS：分布式文件系统 Hbase：分布式数据库系统 Kafka：分布式消息缓存系统 2.计算：Mapreduce：离线计算框架 storm：实时流式计算 spark：离线批处理/实时流处理计算框架（MR的二次封装） 3.辅助类工具：hive：数据仓阅读全文

posted @ 2019-03-22 15:08 给你一个公主抱阅读(354) 评论(0) 推荐(0) 编辑

2019年3月21日

谷歌浏览器加载速度慢的解决办法！！！

摘要：前言折磨了我近一个月的Chrome打开网页慢的问题终于在今天告一段落，完结撒花～然后觉得很有必要发一篇文章来指引误入歧途的后来人～互联网上大部分教程无非都是教你在浏览器设置里取消勾选一些选项，在局域网设置里取消勾选云云，但还有一种情况一直被忽略，那就是——防火墙设置！这不是我说的，是Chrome 阅读全文

posted @ 2019-03-21 18:17 给你一个公主抱阅读(15318) 评论(0) 推荐(0) 编辑

2019年3月16日

Idea中lombok不生效原因

摘要：我们可以通过在maven中插入配置信息来简化javabean，简化构造器，在我们写封装类时可以不用写有参、无参、getter、setter方法等，但是在下载好jar包到maven工程后，去声明封装类对象时仍会让我们去创建构造方法！！！这是因为Idea中没有下载lombok的插件！！！下载方法阅读全文

posted @ 2019-03-16 17:45 给你一个公主抱阅读(6586) 评论(0) 推荐(1) 编辑

2019年3月13日

idea工具maven生命周期clean,install,package等区别

摘要： idea工具maven projects里面有9种生命周期，生命周期是包含在一个项目构建中的一系列有序的阶段。一、最常用的两种打包方法： 1.clean，package（如果报错，很可能就是jar依赖的问题） 2.clean，install 二、9种生命周期： 1.clean，清理，在进行真正的构阅读全文

posted @ 2019-03-13 23:01 给你一个公主抱阅读(9307) 评论(0) 推荐(2) 编辑

给你一个公主抱

公告