LZ名約山炮

Hadoop优化&新特性

摘要：第1章 Hadoop数据压缩 1.1 概述压缩技术能够有效减少底层存储系统（HDFS）读写字节数，压缩提高了网络带宽和磁盘空间效率。在运行MR程序时，I/O操作、网络传输、Shuffle和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。鉴于磁盘阅读全文

posted @ 2021-04-21 09:42 LZ名約山炮阅读(181) 评论(0) 推荐(0)

Zookeeper

摘要：第1章 Zookeeper入门 1.1 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 1.2 特点 1）Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。 2）集群中只要有半数以上节点存活，Zookeeper集群就阅读全文

posted @ 2021-04-20 21:12 LZ名約山炮阅读(190) 评论(0) 推荐(0)

MapReduce&Yarn

摘要：第1章 MapReduce概述 1.1 MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群阅读全文

posted @ 2021-04-15 13:59 LZ名約山炮阅读(125) 评论(0) 推荐(0)

idea中修改注释颜色

摘要：话不多说，直接开干！！！ Block comment：块注释 /* */ Text：文档注释 /** */ Line comment：行注释 // 阅读全文

posted @ 2021-04-14 11:29 LZ名約山炮阅读(120) 评论(0) 推荐(0)

HDFS

摘要：第1章 HDFS概述 1.1 HDFS产出背景及定义（1）产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。（2）定阅读全文

posted @ 2021-04-12 20:46 LZ名約山炮阅读(168) 评论(0) 推荐(0)

Hadoop3.0-入门

摘要：第1章大数据概论 1.1 大数据概念大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决海量数据的存储和海量数据的分析问题。 1.2 大数据特点阅读全文

posted @ 2021-04-09 20:03 LZ名約山炮阅读(248) 评论(0) 推荐(0)

Linux命令总结

摘要：第一章 Linux安装配置 1.1 vim/vi #安装 yum -y install vim* 常用命令功能命令复制当前行 yy 粘贴 p 撤销 u 删除当前行 dd 删除多行 d + n + d 移动到行头 ^ 移动到行尾 $ 移动到页头 gg 移动到页尾 G 移动到目标行 n + G 当前阅读全文

posted @ 2021-04-06 18:58 LZ名約山炮阅读(114) 评论(0) 推荐(0)

Linux-bash未找到命令问题

摘要：一、-bash：vim：未找到命令可能还没安装，所以先检查是否安装，通过命令：rpm -qa | grep vim 若没有出现所需的安装包，则直接使用命令一起全部安装：yum -y install vim* 二、-bash: ifconfig: 未找到命令第一步输入命令：yum search i 阅读全文

posted @ 2021-04-06 09:55 LZ名約山炮阅读(13734) 评论(0) 推荐(0)

Linux网络配置问题

摘要：一、每次在Linux控制终端输入某个数或者操作不正确时，windows系统就会发出它自带的声音提示，本人感觉这个声音很烦人，所以我们要关闭它打开电脑的控制面板点击"硬件和声音",然后选择更改系统声音在声音方案中选择无声，点击确定即可完成修改二、CentOS 7 网络配置第一步： 1.打开V 阅读全文

posted @ 2021-04-01 16:57 LZ名約山炮阅读(124) 评论(0) 推荐(0)

SpringBoot

摘要：一、Spring Boot 入门 1、Spring Boot 简介简化Spring应用开发的一个框架；整个Spring技术栈的一个大整合；J2EE开发的一站式解决方案； 2、微服务 2014，martin fowler 微服务：架构风格（服务微化）一个应用应该是一组小型服务；可以通过HTTP的方阅读全文

posted @ 2021-03-31 19:40 LZ名約山炮阅读(114) 评论(0) 推荐(0)

公告