05 2018 档案

YARN and MapReduce的【内存】优化配置详解
摘要：在Hadoop2.x中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container。使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示 YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资 阅读全文
posted @ 2018-05-28 11:18 yangbk 阅读(250) 评论(0) 推荐(0)
YARN的Memory和CPU调优配置详解
摘要：Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一 阅读全文
posted @ 2018-05-28 11:07 yangbk 阅读(889) 评论(0) 推荐(0)
冒泡排序
摘要：冒泡排序(Bubble Sort)，又被称为气泡排序或泡沫排序。 它是一种较简单的排序算法。它会遍历若干次要排序的数列，每次遍历时，它都会从前往后依次的比较相邻两个数的大小；如果前者比后者大，则交换它们的位置。这样，一次遍历之后，最大的元素就在数列的末尾！ 采用相同的方法再次遍历时，第二大的元素就被 阅读全文
posted @ 2018-05-26 11:27 yangbk 阅读(159) 评论(0) 推荐(0)
选择排序
摘要：选择排序介绍 选择排序(Selection sort)是一种简单直观的排序算法。 它的基本思想是：首先在未排序的数列中找到最小(or最大)元素，然后将其存放到数列的起始位置；接着，再从剩余未排序的元素中继续寻找最小(or最大)元素，然后放到已排序序列的末尾。以此类推，直到所有元素均排序完毕。 排序流 阅读全文
posted @ 2018-05-26 11:23 yangbk 阅读(153) 评论(0) 推荐(0)
操作系统用户态和内核态之间的切换过程
摘要：1. 用户态和内核态的概念区别 究竟什么是用户态，什么是内核态，这两个基本概念以前一直理解得不是很清楚，根本原因个人觉得是在于因为大部分时候我们在写程序时关注的重点和着眼的角度放在了实现的功能和代码的逻辑性上，先看一个例子： 1）例子 void testfork(){ if(0 = = fork() 阅读全文
posted @ 2018-05-22 21:38 yangbk 阅读(1173) 评论(0) 推荐(1)
SpringMVC工作原理
摘要：恢复内容开始 SpringMVC的工作原理图： SpringMVC流程 用户发送请求至前端控制器DispatcherServlet。 DispatcherServlet收到请求调用HandlerMapping处理器映射器。 处理器映射器找到具体的处理器(可以根据xml配置、注解进行查找)，生成处理器 阅读全文
posted @ 2018-05-21 19:06 yangbk 阅读(138) 评论(0) 推荐(0)
CentOS6.5 修改主机名
摘要：1.编辑/etc/sysconfig/network [root@localhost ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop-01 2.hostname 直接命名 [root@localhost ~]#hostname 阅读全文
posted @ 2018-05-19 16:47 yangbk 阅读(197) 评论(0) 推荐(0)
linux 常用命令
摘要：pwd cd hostname ls 查看文件内容 查看文件(文件夹)的大小 vi alias touch mkdir rm ps/netstat 搜索 echo wget yum 搜索、卸载rpm mv、cp tar、zip 磁盘和内存 用户和用户组 切换用户su 修改文件权限 软连接 3. sc 阅读全文
posted @ 2018-05-10 10:06 yangbk 阅读(197) 评论(0) 推荐(0)