摘要：
1.Spark1.x 属性配置方式 Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。 在Spark1.0.0提供了3种方式的属性配置： SparkConf方式 SparkConf方式可以直接将属性值传递到SparkContext； SparkConf可以对某些通用属性 阅读全文
posted @ 2017-08-17 18:33 Aaron-Mhs 阅读(368) 评论(0) 推荐(0)
摘要：
在Spark或Hadoop MapReduce的分布式计算框架中，数据被按照key分成一块一块的分区，打散分布在集群中各个节点的物理存储或内存空间中，每个计算任务一次处理一个分区，但map端和reduce端的计算任务并非按照一种方式对相同的分区进行计算，例如，当需要对数据进行排序时，就需要将key相 阅读全文
posted @ 2017-08-17 18:22 Aaron-Mhs 阅读(255) 评论(0) 推荐(0)
摘要：
Spark集群 一组计算机的集合，每个计算机节点作为独立的计算资源，又可以虚拟出多个具备计算能力的虚拟机，这些虚拟机是集群中的计算单元。Spark的核心模块专注于调度和管理虚拟机之上分布式计算任务的执行，集群中的计算资源则交给Cluster Manager这个角色来管理，Cluster Manage 阅读全文
posted @ 2017-08-17 18:21 Aaron-Mhs 阅读(272) 评论(0) 推荐(0)
摘要：
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spar 阅读全文
posted @ 2017-08-17 18:18 Aaron-Mhs 阅读(149) 评论(0) 推荐(0)
摘要：
首先说说这篇文章要解决什么问题? 1.虚拟内存与内存映射文件的区别与联系. 2.内存映射文件的原理. 3.内存映射文件的效率. 4.传统IO和内存映射效率对比. 虚拟内存与内存映射文件的区别与联系 二者的联系 虚拟内存和内存映射文件都是将一部分内容加载到,另一部分放在磁盘上的一种机制,二者都是应用程 阅读全文
posted @ 2017-08-17 16:37 Aaron-Mhs 阅读(837) 评论(0) 推荐(0)
摘要：
Intellij IDEA中有很多快捷键让人爱不释手，这次就按照我日常开发时的使用频率，简单分类列一下十大快捷-神-键。 1 智能提示 Intellij首当其冲的当然就是Intelligence智能！基本的代码提示用Ctrl+Space，还有更智能地按类型信息提示Ctrl+Shift+Space，但 阅读全文
posted @ 2017-08-11 15:18 Aaron-Mhs 阅读(150) 评论(0) 推荐(0)
摘要：
在excel表中，罗列两列数据，用B列数据与A列比较，筛选出B列中哪些数据不同，并用红色标记出来。 在excel表中，罗列两列数据，用B列数据与A列比较，筛选出B列中哪些数据不同，并用红色标记出来。 首先选中B列。直接鼠标左键点击B列即可选中。"开始" >"条件格式" >"新建规则"： 首先选中B列 阅读全文
posted @ 2017-08-11 14:23 Aaron-Mhs 阅读(4986) 评论(0) 推荐(0)
摘要：
为什么需要Secondary Index 对于Hbase而言，如果想精确地定位到某行记录，唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据，就必须逐行地比较每一列的值，即全表扫瞄。对于较大的表，全表扫瞄的代价是不可接受的。 但是，很多情况下，需要从多个角度查询数据。例如，在定位某 阅读全文
posted @ 2017-08-02 16:13 Aaron-Mhs 阅读(1095) 评论(0) 推荐(0)
摘要：
n HBase world, RegionServer hotspotting is a common problem. We can describe this problem with a single sentence: while writing records with sequentia 阅读全文
posted @ 2017-08-02 16:08 Aaron-Mhs 阅读(243) 评论(0) 推荐(0)
摘要：
1. 概述 1.1 HBase概述 HBase由master节点和region server节点组成。在100-105集群上，100和101是master节点，102-105是region server节点。 每个region server管理很多region，每个region只会属于一个regio 阅读全文
posted @ 2017-08-02 15:55 Aaron-Mhs 阅读(1882) 评论(0) 推荐(0)
浙公网安备 33010602011771号