博客园 - MOBIN
uuid:24b78886-0ed1-41c2-8670-e3f31dcf42c4;id=134676
2022-12-14T10:05:36Z
MOBIN
https://www.cnblogs.com/MOBIN/
feed.cnblogs.com
https://www.cnblogs.com/MOBIN/p/8535035.html
Docker部署Apollo配置中心 - MOBIN
1.Apollot简述 Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景;服务端基于Spring Boot和Spring Cloud开发,打包后可以直接运
2018-03-09T09:25:00Z
2018-03-09T09:25:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】1.Apollot简述 Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景;服务端基于Spring Boot和Spring Cloud开发,打包后可以直接运 <a href="https://www.cnblogs.com/MOBIN/p/8535035.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/7236893.html
Actor模型原理 - MOBIN
1.Actor模型 在使用Java进行并发编程时需要特别的关注锁和内存原子性等一系列线程问题,而Actor模型内部的状态由它自己维护即它内部数据只能由它自己修改(通过消息传递来进行状态修改),所以使用Actors模型进行并发编程可以很好地避免这些问题,Actor由状态(state)、行为(Behav
2017-07-25T15:00:00Z
2017-07-25T15:00:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】1.Actor模型 在使用Java进行并发编程时需要特别的关注锁和内存原子性等一系列线程问题,而Actor模型内部的状态由它自己维护即它内部数据只能由它自己修改(通过消息传递来进行状态修改),所以使用Actors模型进行并发编程可以很好地避免这些问题,Actor由状态(state)、行为(Behav <a href="https://www.cnblogs.com/MOBIN/p/7236893.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/6185387.html
java并发编程--Runnable Callable及Future - MOBIN
1.Runnable Runnable是个接口,使用很简单: 1. 实现该接口并重写run方法 2. 利用该类的对象创建线程 3. 线程启动时就会自动调用该对象的run方法 通常在开发中结合ExecutorService使用,将任务的提交与任务的执行解耦开,同时也能更好地利用Executor提供的各
2016-12-15T16:20:00Z
2016-12-15T16:20:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】1.Runnable Runnable是个接口,使用很简单: 1. 实现该接口并重写run方法 2. 利用该类的对象创建线程 3. 线程启动时就会自动调用该对象的run方法 通常在开发中结合ExecutorService使用,将任务的提交与任务的执行解耦开,同时也能更好地利用Executor提供的各 <a href="https://www.cnblogs.com/MOBIN/p/6185387.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/6135670.html
Spark Accumulators - MOBIN
概述 Accumulator即累加器,与Mapreduce counter的应用场景差不多,都能很好地观察task在运行期间的数据变化,Spark中的Accumulator各task可以对Accumulator值进行累加,但是最终的返回值只能在Driver端获取,同时原生支持Int和Double类型
2016-12-05T13:53:00Z
2016-12-05T13:53:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】概述 Accumulator即累加器,与Mapreduce counter的应用场景差不多,都能很好地观察task在运行期间的数据变化,Spark中的Accumulator各task可以对Accumulator值进行累加,但是最终的返回值只能在Driver端获取,同时原生支持Int和Double类型 <a href="https://www.cnblogs.com/MOBIN/p/6135670.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5857314.html
Spark Yarn-cluster与Yarn-client - MOBIN
摘要 在Spark中,有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上,通常Yarn-Cluster适用于生产环境,而Yarn-Clientr更适用于交互,调试模式,以下是它们的区别 Spark插拨式资源管理 Spark支持Yarn,Mesos,Standalone三种
2016-09-09T09:05:00Z
2016-09-09T09:05:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要 在Spark中,有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上,通常Yarn-Cluster适用于生产环境,而Yarn-Clientr更适用于交互,调试模式,以下是它们的区别 Spark插拨式资源管理 Spark支持Yarn,Mesos,Standalone三种 <a href="https://www.cnblogs.com/MOBIN/p/5857314.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5704001.html
Hive集成HBase详解 - MOBIN
摘要 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询 应用场景 1. 将ETL操作的数据存入HBase 2. HBase作为Hive的数据源 3. 构建低延时的数据仓库 应用场景 1. 将ETL操作的数据存入HBase
2016-07-25T08:43:00Z
2016-07-25T08:43:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询 应用场景 1. 将ETL操作的数据存入HBase 2. HBase作为Hive的数据源 3. 构建低延时的数据仓库 应用场景 1. 将ETL操作的数据存入HBase <a href="https://www.cnblogs.com/MOBIN/p/5704001.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5702580.html
Hive MapJoin - MOBIN
摘要 MapJoin是Hive的一种优化操作,其适用于小表JOIN大表的场景,由于表的JOIN操作是在Map端且在内存进行的,所以其并不需要启动Reduce任务也就不需要经过shuffle阶段,从而能在一定程度上节省资源提高JOIN效率 使用 方法一: 在Hive0.11前,必须使用MAPJOIN来
2016-07-25T02:29:00Z
2016-07-25T02:29:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要 MapJoin是Hive的一种优化操作,其适用于小表JOIN大表的场景,由于表的JOIN操作是在Map端且在内存进行的,所以其并不需要启动Reduce任务也就不需要经过shuffle阶段,从而能在一定程度上节省资源提高JOIN效率 使用 方法一: 在Hive0.11前,必须使用MAPJOIN来 <a href="https://www.cnblogs.com/MOBIN/p/5702580.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5618747.html
Hive2.0函数大全(中文版) - MOBIN
摘要 Hive内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。 目录 数学函数 集合函数 类型转换函数 日期函数 条件函数 字符函数 聚合函数 表生成函数 数学函数 Return Type Name (Signatu
2016-06-26T15:14:00Z
2016-06-26T15:14:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要 Hive内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。 目录 数学函数 集合函数 类型转换函数 日期函数 条件函数 字符函数 聚合函数 表生成函数 数学函数 Return Type Name (Signatu <a href="https://www.cnblogs.com/MOBIN/p/5618747.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5597215.html
深度剖析JDK动态代理机制 - MOBIN
摘要 相比于静态代理,动态代理避免了开发人员编写各个繁锁的静态代理类,只需简单地指定一组接口及目标类对象就能动态的获得代理对象。 代理模式 使用代理模式必须要让代理类和目标类实现相同的接口,客户端通过代理类来调用目标方法,代理类会将所有的方法调用分派到目标对象上反射执行,还可以在分派过程中添加"前置
2016-06-18T16:10:00Z
2016-06-18T16:10:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要 相比于静态代理,动态代理避免了开发人员编写各个繁锁的静态代理类,只需简单地指定一组接口及目标类对象就能动态的获得代理对象。 代理模式 使用代理模式必须要让代理类和目标类实现相同的接口,客户端通过代理类来调用目标方法,代理类会将所有的方法调用分派到目标对象上反射执行,还可以在分派过程中添加"前置 <a href="https://www.cnblogs.com/MOBIN/p/5597215.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5579088.html
HBase二级索引的设计 - MOBIN
摘要 最近做的一个项目涉及到了多条件的组合查询,数据存储用的是HBase,恰恰HBase对于这种场景的查询特别不给力,一般HBase的查询都是通过RowKey(要把多条件组合查询的字段都拼接在RowKey中显然不太可能),或者全表扫描再结合过滤器筛选出目标数据(太低效),所以通过设计HBase的二级
2016-06-12T15:59:00Z
2016-06-12T15:59:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要 最近做的一个项目涉及到了多条件的组合查询,数据存储用的是HBase,恰恰HBase对于这种场景的查询特别不给力,一般HBase的查询都是通过RowKey(要把多条件组合查询的字段都拼接在RowKey中显然不太可能),或者全表扫描再结合过滤器筛选出目标数据(太低效),所以通过设计HBase的二级 <a href="https://www.cnblogs.com/MOBIN/p/5579088.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5559575.html
通过BulkLoad的方式快速导入海量数据 - MOBIN
摘要 加载数据到HBase的方式有多种,通过HBase API导入或命令行导入或使用第三方(如sqoop)来导入或使用MR来批量导入(耗费磁盘I/O,容易在导入的过程使节点宕机),但是这些方式不是慢就是在导入的过程的占用Region资料导致效率低下,今天要讲的就是利用HBase在HDFS存储原理及M
2016-06-04T13:33:00Z
2016-06-04T13:33:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要 加载数据到HBase的方式有多种,通过HBase API导入或命令行导入或使用第三方(如sqoop)来导入或使用MR来批量导入(耗费磁盘I/O,容易在导入的过程使节点宕机),但是这些方式不是慢就是在导入的过程的占用Region资料导致效率低下,今天要讲的就是利用HBase在HDFS存储原理及M <a href="https://www.cnblogs.com/MOBIN/p/5559575.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5467284.html
Phoenix二级索引(Secondary Indexing)的使用 - MOBIN
摘要 HBase只提供了一个基于字典排序的主键索引,在查询中你只能通过行键查询或扫描全表来获取数据,使用Phoenix提供的二级索引,可以避免在查询数据时全表扫描,提高查过性能,提升查询效率 测试环境: 数据约370万 数据格式:(数据来自搜狗实验室) 三节点集群(一主两从,hadoop和HBase
2016-05-06T14:34:00Z
2016-05-06T14:34:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要 HBase只提供了一个基于字典排序的主键索引,在查询中你只能通过行键查询或扫描全表来获取数据,使用Phoenix提供的二级索引,可以避免在查询数据时全表扫描,提高查过性能,提升查询效率 测试环境: 数据约370万 数据格式:(数据来自搜狗实验室) 三节点集群(一主两从,hadoop和HBase <a href="https://www.cnblogs.com/MOBIN/p/5467284.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5436482.html
java并发编程--Executor框架 - MOBIN
摘要: Eexecutor作为灵活且强大的异步执行框架,其支持多种不同类型的任务执行策略,提供了一种标准的方法将任务的提交过程和执行过程解耦开发,基于生产者-消费者模式,其提交任务的线程相当于生产者,执行任务的线程相当于消费者,并用Runnable来表示任务,Executor的实现还提供了对生命周期
2016-04-26T12:24:00Z
2016-04-26T12:24:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要: Eexecutor作为灵活且强大的异步执行框架,其支持多种不同类型的任务执行策略,提供了一种标准的方法将任务的提交过程和执行过程解耦开发,基于生产者-消费者模式,其提交任务的线程相当于生产者,执行任务的线程相当于消费者,并用Runnable来表示任务,Executor的实现还提供了对生命周期 <a href="https://www.cnblogs.com/MOBIN/p/5436482.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5414490.html
Spark常用函数讲解之Action操作 - MOBIN
摘要: RDD:弹性分布式数据集,是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作,一个RDD代表一个分区里的数据集RDD有两种操作算子: Transformation(转换):Transformation属于延迟计算,当一个RDD转换成另一个RDD时并没有立即进行
2016-04-20T13:20:00Z
2016-04-20T13:20:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要: RDD:弹性分布式数据集,是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作,一个RDD代表一个分区里的数据集RDD有两种操作算子: Transformation(转换):Transformation属于延迟计算,当一个RDD转换成另一个RDD时并没有立即进行 <a href="https://www.cnblogs.com/MOBIN/p/5414490.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5407965.html
Java并发编程--Volatile详解 - MOBIN
摘要 Volatile是Java提供的一种弱同步机制,当一个变量被声明成volatile类型后编译器不会将该变量的操作与其他内存操作进行重排序。在某些场景下使用volatile代替锁可以减少代码量和使代码更易阅读。 Volatile特性 1.可见性:当一条线程对volatile变量进行了修改操作时,
2016-04-19T06:05:00Z
2016-04-19T06:05:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要 Volatile是Java提供的一种弱同步机制,当一个变量被声明成volatile类型后编译器不会将该变量的操作与其他内存操作进行重排序。在某些场景下使用volatile代替锁可以减少代码量和使代码更易阅读。 Volatile特性 1.可见性:当一条线程对volatile变量进行了修改操作时, <a href="https://www.cnblogs.com/MOBIN/p/5407965.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5384543.html
Spark常用函数讲解之键值RDD转换 - MOBIN
摘要: RDD:弹性分布式数据集,是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作,一个RDD代表一个分区里的数据集RDD有两种操作算子: Transformation(转换):Transformation属于延迟计算,当一个RDD转换成另一个RDD时并没有立即进行
2016-04-12T13:35:00Z
2016-04-12T13:35:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要: RDD:弹性分布式数据集,是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作,一个RDD代表一个分区里的数据集RDD有两种操作算子: Transformation(转换):Transformation属于延迟计算,当一个RDD转换成另一个RDD时并没有立即进行 <a href="https://www.cnblogs.com/MOBIN/p/5384543.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5374217.html
图解堆排序 - MOBIN
摘要: 作为选择排序的改进版,堆排序可以把每一趟元素的比较结果保存下来,以便我们在选择最小/大元素时对已经比较过的元素做出相应的调整。 堆排序是一种树形选择排序,在排序过程中可以把元素看成是一颗完全二叉树,每个节点都大(小)于它的两个子节点,当每个节点都大于等于它的两个子节点时,就称为大顶堆,也叫堆
2016-04-10T07:14:00Z
2016-04-10T07:14:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要: 作为选择排序的改进版,堆排序可以把每一趟元素的比较结果保存下来,以便我们在选择最小/大元素时对已经比较过的元素做出相应的调整。 堆排序是一种树形选择排序,在排序过程中可以把元素看成是一颗完全二叉树,每个节点都大(小)于它的两个子节点,当每个节点都大于等于它的两个子节点时,就称为大顶堆,也叫堆 <a href="https://www.cnblogs.com/MOBIN/p/5374217.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5373256.html
Spark函数详解系列之RDD基本转换 - MOBIN
摘要: RDD:弹性分布式数据集,是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作,一个RDD代表一个分区里的数据集 RDD有两种操作算子: Transformation(转换):Transformation属于延迟计算,当一个RDD转换成另一个RDD时并没有立即进
2016-04-09T17:51:00Z
2016-04-09T17:51:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要: RDD:弹性分布式数据集,是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作,一个RDD代表一个分区里的数据集 RDD有两种操作算子: Transformation(转换):Transformation属于延迟计算,当一个RDD转换成另一个RDD时并没有立即进 <a href="https://www.cnblogs.com/MOBIN/p/5373256.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5351900.html
深入理解Scala的隐式转换 - MOBIN
摘要: 通过隐式转换,程序员可以在编写Scala程序时故意漏掉一些信息,让编译器去尝试在编译期间自动推导出这些信息来,这种特性可以极大的减少代码量,忽略那些冗长,过于细节的代码。 使用方式: 1.将方法或变量标记为implicit 2.将方法的参数列表标记为implicit 3.将类标记为impli
2016-04-04T05:54:00Z
2016-04-04T05:54:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要: 通过隐式转换,程序员可以在编写Scala程序时故意漏掉一些信息,让编译器去尝试在编译期间自动推导出这些信息来,这种特性可以极大的减少代码量,忽略那些冗长,过于细节的代码。 使用方式: 1.将方法或变量标记为implicit 2.将方法的参数列表标记为implicit 3.将类标记为impli <a href="https://www.cnblogs.com/MOBIN/p/5351900.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MOBIN/p/5348295.html
Spark Streaming--实战篇 - MOBIN
摘要: Sprak Streaming属于Saprk API的扩展,支持实时数据流(live data streams)的可扩展,高吞吐(hight-throughput) 容错(fault-tolerant)的流处理。可以接受来自KafKa,Flume,ZeroMQ Kinesis Twitter
2016-04-02T13:09:00Z
2016-04-02T13:09:00Z
MOBIN
https://www.cnblogs.com/MOBIN/
【摘要】摘要: Sprak Streaming属于Saprk API的扩展,支持实时数据流(live data streams)的可扩展,高吞吐(hight-throughput) 容错(fault-tolerant)的流处理。可以接受来自KafKa,Flume,ZeroMQ Kinesis Twitter <a href="https://www.cnblogs.com/MOBIN/p/5348295.html" target="_blank">阅读全文</a>