摘要: 线程技术可以让我们的程序同时做多件事情,线程的工作模式有很多,常见的一种模式就是处理网站的并发,今天我来说说线程另一种很常见的模式,这个模式和前端里的ajax类似:浏览器一个主线程执行javascript,页面渲染等操作,当我们使用ajax向服务端发起请求,由于这个过程很慢,ajax的异步模式可以让阅读全文
posted @ 2016-06-22 21:33 夏天的森林 阅读(1073) 评论(2) 编辑
摘要: 早些时候学习hadoop的技术,我一直对里面两项技术倍感困惑,一个是zookeeper,一个就是Hbase了。现在有机会专职做大数据相关的项目,终于看到了HBase实战的项目,也因此有机会搞懂Hbase原理。 首先来点实在的东西,假如我们已经在服务器上部署好了Hbase应用,作为客户端或者说的具体点阅读全文
posted @ 2016-06-14 22:02 夏天的森林 阅读(8484) 评论(1) 编辑
摘要: 最近做项目在前端我使用了很多新技术,这些技术有bootstrap、angularjs,不过最让我兴奋的还是使用了HTML5的技术,今天我想总结一些HTML5的技术,好记性不如烂笔头,写写文章可以很好的整理思路,写到博客里还能做个备忘。 1) 跨域通讯 现在做企业项目,前端很不自然的会大量使用ifra阅读全文
posted @ 2016-06-02 21:55 夏天的森林 阅读(2753) 评论(7) 编辑
摘要: 本篇接着谈谈那些稍微复杂的API。 1) flatMapValues:针对Pair RDD中的每个值应用一个返回迭代器的函数,然后对返回的每个元素都生成一个对应原键的键值对记录 这个方法我最开始接触时候,总是感觉很诧异,不是太理解,现在回想起来主要原因是我接触的第一个flatMapValues的例子阅读全文
posted @ 2016-05-23 21:31 夏天的森林 阅读(1639) 评论(0) 编辑
摘要: 本篇接着讲解RDD的API,讲解那些不是很容易理解的API,同时本篇文章还将展示如何将外部的函数引入到RDD的API里使用,最后通过对RDD的API深入学习,我们还讲讲一些和RDD开发相关的scala语法。 1) aggregate(zeroValue)(seqOp,combOp) 该函数的功能和r阅读全文
posted @ 2016-05-20 22:29 夏天的森林 阅读(1735) 评论(2) 编辑
摘要: 上一篇里我提到可以把RDD当作一个数组,这样我们在学习spark的API时候很多问题就能很好理解了。上篇文章里的API也都是基于RDD是数组的数据模型而进行操作的。 Spark是一个计算框架,是对mapreduce计算框架的改进,mapreduce计算框架是基于键值对也就是map的形式,之所以使用键阅读全文
posted @ 2016-05-19 21:51 夏天的森林 阅读(2757) 评论(1) 编辑
摘要: 本文主要是讲解spark里RDD的基础操作。RDD是spark特有的数据模型,谈到RDD就会提到什么弹性分布式数据集,什么有向无环图,本文暂时不去展开这些高深概念,在阅读本文时候,大家可以就把RDD当作一个数组,这样的理解对我们学习RDD的API是非常有帮助的。本文所有示例代码都是使用scala语言阅读全文
posted @ 2016-05-18 22:17 夏天的森林 阅读(17927) 评论(2) 编辑
摘要: 最近做了一个小的mapreduce程序,主要目的是计算环比值最高的前5名,本来打算使用spark计算,可是本人目前spark还只是简单看了下,因此就先改用mapreduce计算了,今天和大家分享下这个例子,也算是对自己写的程序的总结了。 首先解释下环比,例如我们要算本周的环比,那么计算方式就是本周的阅读全文
posted @ 2016-02-21 20:30 夏天的森林 阅读(1580) 评论(1) 编辑
摘要: 最近做项目接触到了HDFS、mapreduce以及Hbase,有了实战机会,今天打算将这些知识好好总结下,以备不时之需。首先从Hbase开始吧。 Hbase是建立在HDFS上的分布式数据库,下图是Hbase表的模型: Hbase这个数据库其实和传统关系数据库还是有很多类似之处,而不是像mo...阅读全文
posted @ 2016-01-06 21:23 夏天的森林 阅读(1622) 评论(0) 编辑
摘要: 最近因为做了些和hadoop相关的项目(虽然主要是运维),但是这段经历让我对hadoop的实际运用有了更加深入的理解。 相比以前自学hadoop,因为没有实战场景以及良好的大数据学习氛围,现在回顾下的确相当肤浅。 因此我要好好重学下hadoop,短期计划如下: 1.重学HDFS知识 ...阅读全文
posted @ 2015-12-06 14:34 夏天的森林 阅读(1579) 评论(3) 编辑