摘要：
从今天起，本人将会展开对Redis源码的学习，Redis的代码规模比较小，非常适合学习，是一份非常不错的学习资料，数了一下大概100个文件左右的样子，用的是C语言写的。希望最终能把他啃完吧，... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(313)
评论(0)
推荐(0)
摘要：
从今天起，本人将会展开对Redis源码的学习，Redis的代码规模比较小，非常适合学习，是一份非常不错的学习资料，数了一下大概100个文件左右的样子，用的是C语言写的。希望最终能把他啃完吧，... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(1298)
评论(0)
推荐(0)
摘要：
程序员做的越久，越发觉得基本功显得越来越重要了。基本功不扎实会潜移默化的影响你的程序开发，这不是，上次浏览博客，看到了一篇运用B+树实现数据库索引的功能，当时就不明白了，看似毫无关系的两者，怎... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(96)
评论(0)
推荐(0)
摘要：
程序员做的越久，越发觉得基本功显得越来越重要了。基本功不扎实会潜移默化的影响你的程序开发，这不是，上次浏览博客，看到了一篇运用B+树实现数据库索引的功能，当时就不明白了，看似毫无关系的两者，怎... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(105)
评论(0)
推荐(0)
摘要：
程序员做的越久，越发觉得基本功显得越来越重要了。基本功不扎实会潜移默化的影响你的程序开发，这不是，上次浏览博客，看到了一篇运用B+树实现数据库索引的功能，当时就不明白了，看似毫无关系的两者，怎... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(123)
评论(0)
推荐(0)
摘要：
之前看过一本名叫>，里面主要讲了NOSQL的内容，感觉讲得确实不错，今天来重新温习一下，我们大话NOSQL。说道NOSQL，我们肯定联想到的内容就是BigData大数据了，不错，当今的时代就是大数据的时代了... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(80)
评论(0)
推荐(0)
摘要：
之前看过一本名叫>，里面主要讲了NOSQL的内容，感觉讲得确实不错，今天来重新温习一下，我们大话NOSQL。说道NOSQL，我们肯定联想到的内容就是BigData大数据了，不错，当今的时代就是大数据的时代了... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(104)
评论(0)
推荐(0)
摘要：
随着对于编程的越来越深入，想想现在不能像以前那样冲着一股誓死要在1个月内完成某某项目的那个劲开始写代码，而是应该在开发前静下心来，好好想想新项目的架构设计，公共类的设计等等一些。好了，这时候就引入了一个... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(93)
评论(0)
推荐(0)
摘要：
随着对于编程的越来越深入，想想现在不能像以前那样冲着一股誓死要在1个月内完成某某项目的那个劲开始写代码，而是应该在开发前静下心来，好好想想新项目的架构设计，公共类的设计等等一些。好了，这时候就引入了一个... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(97)
评论(0)
推荐(0)
摘要：
本周闲着无聊，学习了下网站优化的相关知识，一个类似BAT这样每日访问几百万pv的网站，是如何做到不崩溃的。下面总结主要的几点：一.前端优化，指的是请求还没有到达真正的应用服务器之间的可优化的操作1.减少htt... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(83)
评论(0)
推荐(0)
摘要：
本周闲着无聊，学习了下网站优化的相关知识，一个类似BAT这样每日访问几百万pv的网站，是如何做到不崩溃的。下面总结主要的几点：一.前端优化，指的是请求还没有到达真正的应用服务器之间的可优化的操作1.减少htt... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(96)
评论(0)
推荐(0)
摘要：
本周闲着无聊，学习了下网站优化的相关知识，一个类似BAT这样每日访问几百万pv的网站，是如何做到不崩溃的。下面总结主要的几点：一.前端优化，指的是请求还没有到达真正的应用服务器之间的可优化的操作1.减少htt... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(68)
评论(0)
推荐(0)
摘要：
在当今信息交流日益方便的年代，安全问题就凸显得越来越重要了。今天我来浅谈java中所涉及的安全知识，我所说的java安全指的更多的是java JDK 中的关于加密，解密的API的相关知识，但是基本上也... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(69)
评论(0)
推荐(0)
摘要：
随着对于编程的越来越深入，想想现在不能像以前那样冲着一股誓死要在1个月内完成某某项目的那个劲开始写代码，而是应该在开发前静下心来，好好想想新项目的架构设计，公共类的设计等等一些。好了，这时候就引入了一个... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(121)
评论(0)
推荐(0)
摘要：
以前有句话说程序==算法+数据结构，其实不然，如果说编程像是在盖楼房，那么学好数据结构和算法，就是在打下一个完美的地基。 所以今天闲着无聊，给大家总结总结，几个非常非常基础的算法，... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(97)
评论(0)
推荐(0)
摘要：
以前有句话说程序==算法+数据结构，其实不然，如果说编程像是在盖楼房，那么学好数据结构和算法，就是在打下一个完美的地基。 所以今天闲着无聊，给大家总结总结，几个非常非常基础的算法，... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(93)
评论(0)
推荐(0)
摘要：
以前有句话说程序==算法+数据结构，其实不然，如果说编程像是在盖楼房，那么学好数据结构和算法，就是在打下一个完美的地基。 所以今天闲着无聊，给大家总结总结，几个非常非常基础的算法，... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(77)
评论(0)
推荐(0)
摘要：
最近发现自己的底层的理论知识太薄了，所以默默的准备恶补了一顿操作系统的知识，所以就选了一本Linux内核的书学习学习。大学里学的专业课是操作系统，跟纯讲Linux系统还是有少许的不一样的吧。但是有想... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(88)
评论(0)
推荐(0)
摘要：
最近发现自己的底层的理论知识太薄了，所以默默的准备恶补了一顿操作系统的知识，所以就选了一本Linux内核的书学习学习。大学里学的专业课是操作系统，跟纯讲Linux系统还是有少许的不一样的吧。但是有想... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(88)
评论(0)
推荐(0)
摘要：
最近发现自己的底层的理论知识太薄了，所以默默的准备恶补了一顿操作系统的知识，所以就选了一本Linux内核的书学习学习。大学里学的专业课是操作系统，跟纯讲Linux系统还是有少许的不一样的吧。但是有想... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(98)
评论(0)
推荐(0)
摘要：
我们都知道，淘宝网的横空出世是在2003年，也就是但年SARS流行的时候，当初淘宝用的是现在看来也是十分流行的LAMP架构，即Linux+Apache+MySql+Php，的一个非常常用的架构模型，当时... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(328)
评论(0)
推荐(0)
摘要：
我们都知道，淘宝网的横空出世是在2003年，也就是但年SARS流行的时候，当初淘宝用的是现在看来也是十分流行的LAMP架构，即Linux+Apache+MySql+Php，的一个非常常用的架构模型，当时... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(1012)
评论(0)
推荐(0)
摘要：
我们都知道，淘宝网的横空出世是在2003年，也就是但年SARS流行的时候，当初淘宝用的是现在看来也是十分流行的LAMP架构，即Linux+Apache+MySql+Php，的一个非常常用的架构模型，当时... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(155)
评论(0)
推荐(0)
摘要：
最近学习关于Java中间件的开发，里面存在了许多专业的名词，所以在此总结一下，可以在未来复习，复习。1.中间件的定义，中间件是出于操作系统与用户应用软件的之上的一个层级。2.中间件的分类，中间件分为：1,终端仿真... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(103)
评论(0)
推荐(0)
摘要：
最近学习关于Java中间件的开发，里面存在了许多专业的名词，所以在此总结一下，可以在未来复习，复习。1.中间件的定义，中间件是出于操作系统与用户应用软件的之上的一个层级。2.中间件的分类，中间件分为：1,终端仿真... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(118)
评论(0)
推荐(0)
摘要：
最近学习关于Java中间件的开发，里面存在了许多专业的名词，所以在此总结一下，可以在未来复习，复习。1.中间件的定义，中间件是出于操作系统与用户应用软件的之上的一个层级。2.中间件的分类，中间件分为：1,终端仿真... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(73)
评论(0)
推荐(0)
摘要：
今天本人复习了一下，当下最流行的分布式计算平台，Hadoop，在此平台上开发，可以屏蔽程序员在大数据处理上的所要考虑的各种，多线程，高并发的问题。好，下面就好好的了解一下什么是Hadoop。 Hadoop是... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(181)
评论(0)
推荐(0)
摘要：
今天本人复习了一下，当下最流行的分布式计算平台，Hadoop，在此平台上开发，可以屏蔽程序员在大数据处理上的所要考虑的各种，多线程，高并发的问题。好，下面就好好的了解一下什么是Hadoop。 Hadoop是... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(84)
评论(0)
推荐(0)
摘要：
今天本人复习了一下，当下最流行的分布式计算平台，Hadoop，在此平台上开发，可以屏蔽程序员在大数据处理上的所要考虑的各种，多线程，高并发的问题。好，下面就好好的了解一下什么是Hadoop。 Hadoop是... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(91)
评论(0)
推荐(0)
摘要：
我们都知道java并发包下的一些东西总是包含着许多比较有意思的东西。但是其实有很多人还是很少用到其中的一些东西。而且有时，某些企业的招聘就要求掌握java.util.concurrent包下的类。下... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(98)
评论(0)
推荐(0)
摘要：
我们都知道java并发包下的一些东西总是包含着许多比较有意思的东西。但是其实有很多人还是很少用到其中的一些东西。而且有时，某些企业的招聘就要求掌握java.util.concurrent包下的类。下... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(97)
评论(0)
推荐(0)
摘要：
我们都知道java并发包下的一些东西总是包含着许多比较有意思的东西。但是其实有很多人还是很少用到其中的一些东西。而且有时，某些企业的招聘就要求掌握java.util.concurrent包下的类。下... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(189)
评论(0)
推荐(0)
摘要：
继上次草草的分析完Java.nio.current的分析，个人感觉还是收获非常大的。虽说不能理解全部，但是绝对比以前的感觉好很多。趁着这股热劲，最近开始研究Java.nio下的源码，Java.nio... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(310)
评论(0)
推荐(0)
摘要：
继上一小节分析完Java.nio直接包下的Buffer，我们再来看看下面的一些包，自然就落到了Channels通道包的实现了。Channels包的作用可谓是其中的主要作用的体现了，可以用FileCh... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(115)
评论(0)
推荐(0)
摘要：
继上次草草的分析完Java.nio.current的分析，个人感觉还是收获非常大的。虽说不能理解全部，但是绝对比以前的感觉好很多。趁着这股热劲，最近开始研究Java.nio下的源码，Java.nio... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(106)
评论(0)
推荐(0)
摘要：
继上一小节分析完Java.nio直接包下的Buffer，我们再来看看下面的一些包，自然就落到了Channels通道包的实现了。Channels包的作用可谓是其中的主要作用的体现了，可以用FileCh... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(90)
评论(0)
推荐(0)
摘要：
前面分析完2个主要的包类，现在我们来揭开Java.nio的最后块神秘的知识点，Charset编码类，他的功能主要是实现字节与Unicode之间的转码转换。同样先来看看他的包结构。，结构比较单一和简单... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(344)
评论(0)
推荐(0)
摘要：
在当今信息交流日益方便的年代，安全问题就凸显得越来越重要了。今天我来浅谈java中所涉及的安全知识，我所说的java安全指的更多的是java JDK 中的关于加密，解密的API的相关知识，但是基本上也... 阅读全文
posted @ 2020-01-12 19:10
回眸,境界
阅读(446)
评论(0)
推荐(0)
摘要：
前言之前写了许多关于数据迁移的文章,也衍生的... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(2073)
评论(0)
推荐(0)
摘要：
前言之前写了许多关于数据迁移的文章,也衍生的... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(235)
评论(0)
推荐(0)
摘要：
前言在很多时候,我们会碰到数据融合的需求,比... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(133)
评论(0)
推荐(0)
摘要：
前言在很多时候,我们会碰到数据融合的需求,比... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(677)
评论(0)
推荐(0)
摘要：
前言之前的文章中谈论了几个最近几年HDFS中... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(232)
评论(0)
推荐(0)
摘要：
前言之前的文章中谈论了几个最近几年HDFS中... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(272)
评论(0)
推荐(0)
摘要：
前言其实对于HDFS中的限流问题,我在之前的... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(812)
评论(0)
推荐(0)
摘要：
前言其实对于HDFS中的限流问题,我在之前的... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(173)
评论(0)
推荐(0)
摘要：
前言前一篇文章中刚刚分析完HDFS的异构存储... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(947)
评论(0)
推荐(0)
摘要：
前言前一篇文章中刚刚分析完HDFS的异构存储... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(236)
评论(0)
推荐(0)
摘要：
前言Hadoop在2.6.0版本中引入了一个... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(295)
评论(0)
推荐(0)
摘要：
前言Hadoop在2.6.0版本中引入了一个... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(249)
评论(0)
推荐(0)
摘要：
前言在当今每日信息量巨大的社会中,源源不断的... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(180)
评论(0)
推荐(0)
摘要：
前言在当今每日信息量巨大的社会中,源源不断的... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(564)
评论(0)
推荐(1)
摘要：
前言在HDFS中,所有的文件都是以block... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(461)
评论(0)
推荐(0)
摘要：
前言在HDFS中,所有的文件都是以block... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(615)
评论(0)
推荐(0)
摘要：
前言HDFS作为一套成熟的分布式文件系统,其... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(270)
评论(0)
推荐(0)
摘要：
前言HDFS作为一套成熟的分布式文件系统,其... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(816)
评论(0)
推荐(0)
摘要：
前言缓存,英文单词译为Cache,缓存可以帮... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(286)
评论(0)
推荐(0)
摘要：
前言缓存,英文单词译为Cache,缓存可以帮... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(450)
评论(0)
推荐(0)
摘要：
前言HDFS也可以支持Erasure Cod... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(413)
评论(0)
推荐(0)
摘要：
前言HDFS也可以支持Erasure Cod... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(374)
评论(0)
推荐(0)
摘要：
前言之前一段时间写了篇文章DataNode数据处理中心DataXceiver从大的方向了解了下datanode读写操作的过程.但是并没有具体细粒度的去关注读写操作中的细节以及可能存在的问题,本篇文章算是对这方面的... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(134)
评论(0)
推荐(0)
摘要：
前言之前一段时间写了篇文章DataNode数据处理中心DataXceiver从大的方向了解了下datanode读写操作的过程.但是并没有具体细粒度的去关注读写操作中的细节以及可能存在的问题,本篇文章算是对这方面的... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(84)
评论(0)
推荐(0)
摘要：
前言在HDFS中,数据的存储是以Block块的形式进行组织的.而每个块的默认副本数是3个,所以一般每个在HDFS中会存在3个相同的block块分布在不同的DataNode节点之上.所以在每个DataNode上,会... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(118)
评论(0)
推荐(0)
摘要：
前言在HDFS中,数据的存储是以Block块的形式进行组织的.而每个块的默认副本数是3个,所以一般每个在HDFS中会存在3个相同的block块分布在不同的DataNode节点之上.所以在每个DataNode上,会... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(341)
评论(0)
推荐(0)
摘要：
前言文章标题一开始提及到了一个令人感到有些抽象又显得有些很"大"的词,限流.其实这个词语在很多行业都可以用到,比如最近春运,各大主要城市,火车站,地铁站都要做到限流吧,避免人流量过大造成事故或间接事故,这叫人流量... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(247)
评论(0)
推荐(0)
摘要：
前言文章标题一开始提及到了一个令人感到有些抽象又显得有些很"大"的词,限流.其实这个词语在很多行业都可以用到,比如最近春运,各大主要城市,火车站,地铁站都要做到限流吧,避免人流量过大造成事故或间接事故,这叫人流量... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(235)
评论(0)
推荐(0)
摘要：
前言最近在CSDN的首页上看到了hadoop十周年的文章,不禁感慨这真是一个伟大的系统啊.在这十年间,hadoop自身进行了许多演化和大的改变,而在其下,也孵化出了许多子项目,围绕着hadoop的生态圈现在变得越... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(199)
评论(0)
推荐(0)
摘要：
前言最近在CSDN的首页上看到了hadoop十周年的文章,不禁感慨这真是一个伟大的系统啊.在这十年间,hadoop自身进行了许多演化和大的改变,而在其下,也孵化出了许多子项目,围绕着hadoop的生态圈现在变得越... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(518)
评论(0)
推荐(0)
摘要：
前言在hadoop集群中,一个datanode执行启动操作后,会在namenode中进行节点的注册,然后namenode会与这个新注册的datanode通过心跳的形式,进行信息的传输,一方面datanode将会汇... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(211)
评论(0)
推荐(0)
摘要：
前言在hadoop集群中,一个datanode执行启动操作后,会在namenode中进行节点的注册,然后namenode会与这个新注册的datanode通过心跳的形式,进行信息的传输,一方面datanode将会汇... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(350)
评论(0)
推荐(0)
摘要：
前言如果说你是一名hadoop集群的日常维护者,那么你肯定经历过很多的节点上下线工作.例如,随着业务规模的高速扩张,集群的资源渐渐的不够使用的时候,一般正常的做法是通过增加机器来达到线性扩展的效果.当然,当这些机... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(175)
评论(0)
推荐(0)
摘要：
前言现在做云存储的公司很多,举2个比较典型的... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(226)
评论(0)
推荐(0)
摘要：
前言现在做云存储的公司很多,举2个比较典型的... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(836)
评论(0)
推荐(0)
摘要：
前言在HDFS中,每时每刻都在进行着大量bl... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(224)
评论(0)
推荐(0)
摘要：
前言在HDFS中,每时每刻都在进行着大量bl... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(1026)
评论(0)
推荐(0)
摘要：
DataNode迁移方案目标由于外界因素的影... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(131)
评论(0)
推荐(0)
摘要：
DataNode迁移方案目标由于外界因素的影... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(280)
评论(0)
推荐(0)
摘要：
DataNode迁移方案目标由于外界因素的影... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(366)
评论(0)
推荐(0)
摘要：
前言在使用hadoop集群的时候,所有的任务都是最终以Application的形式跑在集群中,不管你是自己写的MR程序亦或是你写的hive sql转化成的mr任务,最终都是以Application应用的身份在跑.... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(197)
评论(0)
推荐(0)
摘要：
前言在使用hadoop集群的时候,所有的任务都是最终以Application的形式跑在集群中,不管你是自己写的MR程序亦或是你写的hive sql转化成的mr任务,最终都是以Application应用的身份在跑.... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(898)
评论(0)
推荐(0)
摘要：
前言在使用hadoop集群的时候,所有的任务都是最终以Application的形式跑在集群中,不管你是自己写的MR程序亦或是你写的hive sql转化成的mr任务,最终都是以Application应用的身份在跑.... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(384)
评论(0)
推荐(0)
摘要：
前言做过hadoop集群问题排查工作的同学一定用过JobHistory,这是一个很好用的"利器",为什么这么说呢?正如这个工具的名称所叫的那样,这个工具能帮你找到历史Job跑过的信息,而信息的记录非常的详细,从J... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(120)
评论(0)
推荐(0)
摘要：
前言做过hadoop集群问题排查工作的同学一定用过JobHistory,这是一个很好用的"利器",为什么这么说呢?正如这个工具的名称所叫的那样,这个工具能帮你找到历史Job跑过的信息,而信息的记录非常的详细,从J... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(215)
评论(0)
推荐(0)
摘要：
前言如果说你是一名hadoop集群的日常维护者,那么你肯定经历过很多的节点上下线工作.例如,随着业务规模的高速扩张,集群的资源渐渐的不够使用的时候,一般正常的做法是通过增加机器来达到线性扩展的效果.当然,当这些机... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(141)
评论(0)
推荐(0)
摘要：
前言如果说你是一名hadoop集群的日常维护者,那么你肯定经历过很多的节点上下线工作.例如,随着业务规模的高速扩张,集群的资源渐渐的不够使用的时候,一般正常的做法是通过增加机器来达到线性扩展的效果.当然,当这些机... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(287)
评论(0)
推荐(0)
摘要：
前言在HDFS中,所有的数据都是存在各个DataNode上的.而这些DataNode上的数据都是存放于节点机器上的各个目录中的,而一般每个目录我们会对应到1个独立的盘,以便我们把机器的存储空间基本用上.这么多的节... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(134)
评论(0)
推荐(0)
摘要：
前言在HDFS中,所有的数据都是存在各个DataNode上的.而这些DataNode上的数据都是存放于节点机器上的各个目录中的,而一般每个目录我们会对应到1个独立的盘,以便我们把机器的存储空间基本用上.这么多的节... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(116)
评论(0)
推荐(0)
摘要：
前言在HDFS中,所有的数据都是存在各个DataNode上的.而这些DataNode上的数据都是存放于节点机器上的各个目录中的,而一般每个目录我们会对应到1个独立的盘,以便我们把机器的存储空间基本用上.这么多的节... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(82)
评论(0)
推荐(0)
摘要：
前言最近一段时间,由于机房需要搬迁调整,我们hadoop集群所受到的影响机器无疑是数量最多的,如何能最优的使机器在从1个机房搬到另1个机房之后,对集群的数据和上面跑的业务造成尽可能小的影响或者说几乎没有影响.这就... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(270)
评论(0)
推荐(0)
摘要：
前言最近一段时间,由于机房需要搬迁调整,我们hadoop集群所受到的影响机器无疑是数量最多的,如何能最优的使机器在从1个机房搬到另1个机房之后,对集群的数据和上面跑的业务造成尽可能小的影响或者说几乎没有影响.这就... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(139)
评论(0)
推荐(0)
摘要：
前言最近一段时间,由于机房需要搬迁调整,我们hadoop集群所受到的影响机器无疑是数量最多的,如何能最优的使机器在从1个机房搬到另1个机房之后,对集群的数据和上面跑的业务造成尽可能小的影响或者说几乎没有影响.这就... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(440)
评论(0)
推荐(0)
摘要：
前言最近在工作中解决了一个慢磁盘的问题,个人感觉整个发现-分析-解决的过程还是非常有意思并且很有意义的.而且磁盘监控在目前的Hadoop中还是没有做的很全的,大多数都是对Datanode,可以说这是1个盲区.其实... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(206)
评论(0)
推荐(0)
摘要：
前言在准备开始写本篇文章之前,我一直在想应该给本篇文章定一个怎样的标题才能最精准的表达出主题而又不会让字数变得过多.因为Metric指标监控在YARN中早已经存在了,而且支持的指标非常多,所以本篇文章当然不会是简... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(79)
评论(0)
推荐(0)
摘要：
前言在准备开始写本篇文章之前,我一直在想应该给本篇文章定一个怎样的标题才能最精准的表达出主题而又不会让字数变得过多.因为Metric指标监控在YARN中早已经存在了,而且支持的指标非常多,所以本篇文章当然不会是简... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(74)
评论(0)
推荐(0)
摘要：
前言在准备开始写本篇文章之前,我一直在想应该给本篇文章定一个怎样的标题才能最精准的表达出主题而又不会让字数变得过多.因为Metric指标监控在YARN中早已经存在了,而且支持的指标非常多,所以本篇文章当然不会是简... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(93)
评论(0)
推荐(0)
摘要：
前言我们都知道,在Hadoop中,一个Job的执行需要转化成1个个的Task去执行,在Task中,有会有2个类型,一个为Map Task,另一个就是Reduce Task.当然,这不是最底层的级别,在Task内部... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(132)
评论(0)
推荐(0)
摘要：
前言我们都知道,在Hadoop中,一个Job的执行需要转化成1个个的Task去执行,在Task中,有会有2个类型,一个为Map Task,另一个就是Reduce Task.当然,这不是最底层的级别,在Task内部... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(164)
评论(0)
推荐(0)
摘要：
前言做过hadoop集群问题排查工作的同学一定用过JobHistory,这是一个很好用的"利器",为什么这么说呢?正如这个工具的名称所叫的那样,这个工具能帮你找到历史Job跑过的信息,而信息的记录非常的详细,从J... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(158)
评论(0)
推荐(0)
摘要：
前言在hadoop的FsShell命令中,估计很多人比较常用的就是hadoop fs -ls,-lsr,-cat等等这样的与Linux系统中几乎一致的文件系统相关的命令.但是仔细想想,这里还是有一些些的不同的.首... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(215)
评论(0)
推荐(0)
摘要：
前言在hadoop的FsShell命令中,估计很多人比较常用的就是hadoop fs -ls,-lsr,-cat等等这样的与Linux系统中几乎一致的文件系统相关的命令.但是仔细想想,这里还是有一些些的不同的.首... 阅读全文
posted @ 2020-01-12 19:09
回眸,境界
阅读(91)
评论(0)
推荐(0)
浙公网安备 33010602011771号