摘要: 1. RESTful简述 REST是一种设计风格,是一组约束条件及原则,而遵循REST风格的架构就称为RESTful架构,资源是RESTful的核心,一个好的RESTful架构,通过URL就能很清晰的了解其相应的操作和需求是什么,即1. 通过URL定位资源,如:com.mobin/api/v1/sh阅读全文
posted @ 2017-11-19 17:56 MOBIN 阅读(992) 评论(0) 编辑
摘要: 概述 Active Admin提供了一个友好的后台管理界面,将CRUD等操作可视化,操作极其方便 安装 1. 添加gem gem "devise", :github = 'plataformatec/devise', :branch = 'master' gem 'activeadmin', git阅读全文
posted @ 2017-11-03 16:06 MOBIN 阅读(56) 评论(0) 编辑
摘要: 1.Actor模型 在使用Java进行并发编程时需要特别的关注锁和内存原子性等一系列线程问题,而Actor模型内部的状态由它自己维护即它内部数据只能由它自己修改(通过消息传递来进行状态修改),所以使用Actors模型进行并发编程可以很好地避免这些问题,Actor由状态(state)、行为(Behav阅读全文
posted @ 2017-07-25 23:00 MOBIN 阅读(2701) 评论(1) 编辑
摘要: Introduction Scalatra是一款轻易级Scala web框架,通过Scalatra可以很轻易创建web Application,由Linkedln开源并遵循了Ruby Web框架的Sinatra的原则。 由于个人项目及为了更好的了解Scala的原因,需要款Scala栈的web框架来支阅读全文
posted @ 2017-03-05 14:35 MOBIN 阅读(198) 评论(0) 编辑
摘要: 1.Runnable Runnable是个接口,使用很简单: 1. 实现该接口并重写run方法 2. 利用该类的对象创建线程 3. 线程启动时就会自动调用该对象的run方法 通常在开发中结合ExecutorService使用,将任务的提交与任务的执行解耦开,同时也能更好地利用Executor提供的各阅读全文
posted @ 2016-12-16 00:20 MOBIN 阅读(4926) 评论(2) 编辑
摘要: 概述 Accumulator即累加器,与Mapreduce counter的应用场景差不多,都能很好地观察task在运行期间的数据变化,Spark中的Accumulator各task可以对Accumulator值进行累加,但是最终的返回值只能在Driver端获取,同时原生支持Int和Double类型阅读全文
posted @ 2016-12-05 21:53 MOBIN 阅读(598) 评论(0) 编辑
摘要: 摘要 在Spark中,有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上,通常Yarn-cluster适用于生产环境,而Yarn-Cluster更适用于交互,调试模式,以下是它们的区别 Spark插拨式资源管理 Spark支持Yarn,Mesos,Standalone三种阅读全文
posted @ 2016-09-09 17:05 MOBIN 阅读(5264) 评论(2) 编辑
摘要: 摘要 Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询 应用场景 1. 将ETL操作的数据存入HBase 2. HBase作为Hive的数据源 3. 构建低延时的数据仓库 应用场景 1. 将ETL操作的数据存入HBase阅读全文
posted @ 2016-07-25 16:43 MOBIN 阅读(8629) 评论(0) 编辑
摘要: 摘要 MapJoin是Hive的一种优化操作,其适用于小表JOIN大表的场景,由于表的JOIN操作是在Map端且在内存进行的,所以其并不需要启动Reduce任务也就不需要经过shuffle阶段,从而能在一定程度上节省资源提高JOIN效率 使用 方法一: 在Hive0.11前,必须使用MAPJOIN来阅读全文
posted @ 2016-07-25 10:29 MOBIN 阅读(4965) 评论(0) 编辑
摘要: 摘要 Hive内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。 目录 数学函数 集合函数 类型转换函数 日期函数 条件函数 字符函数 聚合函数 表生成函数 数学函数 Return Type Name (Signatu阅读全文
posted @ 2016-06-26 23:14 MOBIN 阅读(35602) 评论(0) 编辑