摘要:1.Apollot简述 Apollo(阿波罗)是携程框架部门研发的分布式配置中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性,适用于微服务配置管理场景;服务端基于Spring Boot和Spring Cloud开发,打包后可以直接运 阅读全文
posted @ 2018-03-09 17:25 MOBIN 阅读(7244) 评论(0) 推荐(0) 编辑
摘要:1.Actor模型 在使用Java进行并发编程时需要特别的关注锁和内存原子性等一系列线程问题,而Actor模型内部的状态由它自己维护即它内部数据只能由它自己修改(通过消息传递来进行状态修改),所以使用Actors模型进行并发编程可以很好地避免这些问题,Actor由状态(state)、行为(Behav 阅读全文
posted @ 2017-07-25 23:00 MOBIN 阅读(33169) 评论(3) 推荐(11) 编辑
摘要:1.Runnable Runnable是个接口,使用很简单: 1. 实现该接口并重写run方法 2. 利用该类的对象创建线程 3. 线程启动时就会自动调用该对象的run方法 通常在开发中结合ExecutorService使用,将任务的提交与任务的执行解耦开,同时也能更好地利用Executor提供的各 阅读全文
posted @ 2016-12-16 00:20 MOBIN 阅读(16169) 评论(2) 推荐(13) 编辑
摘要:概述 Accumulator即累加器,与Mapreduce counter的应用场景差不多,都能很好地观察task在运行期间的数据变化,Spark中的Accumulator各task可以对Accumulator值进行累加,但是最终的返回值只能在Driver端获取,同时原生支持Int和Double类型 阅读全文
posted @ 2016-12-05 21:53 MOBIN 阅读(3466) 评论(0) 推荐(1) 编辑
摘要:摘要 在Spark中,有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上,通常Yarn-Cluster适用于生产环境,而Yarn-Clientr更适用于交互,调试模式,以下是它们的区别 Spark插拨式资源管理 Spark支持Yarn,Mesos,Standalone三种 阅读全文
posted @ 2016-09-09 17:05 MOBIN 阅读(16308) 评论(4) 推荐(5) 编辑
摘要:摘要 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询 应用场景 1. 将ETL操作的数据存入HBase 2. HBase作为Hive的数据源 3. 构建低延时的数据仓库 应用场景 1. 将ETL操作的数据存入HBase 阅读全文
posted @ 2016-07-25 16:43 MOBIN 阅读(24735) 评论(0) 推荐(9) 编辑
摘要:摘要 MapJoin是Hive的一种优化操作,其适用于小表JOIN大表的场景,由于表的JOIN操作是在Map端且在内存进行的,所以其并不需要启动Reduce任务也就不需要经过shuffle阶段,从而能在一定程度上节省资源提高JOIN效率 使用 方法一: 在Hive0.11前,必须使用MAPJOIN来 阅读全文
posted @ 2016-07-25 10:29 MOBIN 阅读(35706) 评论(0) 推荐(7) 编辑
摘要:摘要 Hive内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。 目录 数学函数 集合函数 类型转换函数 日期函数 条件函数 字符函数 聚合函数 表生成函数 数学函数 Return Type Name (Signatu 阅读全文
posted @ 2016-06-26 23:14 MOBIN 阅读(179979) 评论(3) 推荐(69) 编辑
摘要:摘要 相比于静态代理,动态代理避免了开发人员编写各个繁锁的静态代理类,只需简单地指定一组接口及目标类对象就能动态的获得代理对象。 代理模式 使用代理模式必须要让代理类和目标类实现相同的接口,客户端通过代理类来调用目标方法,代理类会将所有的方法调用分派到目标对象上反射执行,还可以在分派过程中添加"前置 阅读全文
posted @ 2016-06-19 00:10 MOBIN 阅读(35852) 评论(5) 推荐(53) 编辑
摘要:摘要 最近做的一个项目涉及到了多条件的组合查询,数据存储用的是HBase,恰恰HBase对于这种场景的查询特别不给力,一般HBase的查询都是通过RowKey(要把多条件组合查询的字段都拼接在RowKey中显然不太可能),或者全表扫描再结合过滤器筛选出目标数据(太低效),所以通过设计HBase的二级 阅读全文
posted @ 2016-06-12 23:59 MOBIN 阅读(42027) 评论(2) 推荐(23) 编辑