麦哲思科技

摘要： 转载自：http://shiyanjun.cn/archives/744.html 摘要 本文提出了分布式内存抽象的概念——弹性分布式数据集（RDD，Resilient Distributed Datasets），它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大... 阅读全文

摘要： 我们看一个跨库事务一致性的问题，这是一个简单的场景：有新老两个系统，对应新老两套数据库，新数据库采用分库分表的设计，考虑到项目发布之后可能存在风险，采取了新老系统的并行方案。这个系统的业务比较简单：接收来自外部的数据，然后对数据进行核对处理。为了保证新老系统能够并行，在接收数据的时候必须实... 阅读全文

摘要： 使用IDEA运行Spark程序 1.安装IDEA 从IDEA官网下载Community版本，解压到/usr/local/idea目录下。 tar –xzf ideaIC-13.1.4b.tar.gz mv idea-IC-135.1230/ /usr/local/idea 为了方便使用其bi... 阅读全文

摘要： 写了点scala的内容，方便看spark源码，估计一两天就能看完，内容比较粗浅。 下载地址： http://download.csdn.net/detail/lsshlsw/7983541 阅读全文

摘要： 为什么需要编译？ 因为不同版本的HDFS在协议上是不兼容的，所以如果你想用你的Spark从HDFS上读取数据，那么你就的选择相应版本的HDFS来编译Spark，这个可以在编译的时候通过设置hadoop.version来选择，默认情况下，Spark默认为编译成Hadoop 1.0.... 阅读全文

摘要： Android屏幕截图有很多方式这里只使用其中一种截图主要是读取/dev/graphics/fb0,进行转换，复杂点就在如何把读取的数据进行转换。可以参考一下这篇文章：http://blog.chinaaet.com/detail/28298下面给出程序代码/** * ScreenShotFb.j... 阅读全文

摘要： Android WebView播放flash(判断是否安装flash插件) 最近帮一个同学做一个项目，断断续续的一些知识点记录一下。一个页面中有一个WebView，用来播放swf，如果系统中未安装flash插件，必须提示用户到market中安装。 下面做一个demo，效果图如下： ... 阅读全文

摘要： 尽管之前久闻Docker的大名了，但是天资愚钝，对其到底是个啥东西一直摸不清，最近花了一段时间整理了一下，算是整理出一点头绪来。 官网的介绍是这样的： Docker is an open platform for developers and sysadmins to build,... 阅读全文

摘要： 隐式转化： 隐式参数： 隐式类： 阅读全文

摘要： class ApplyTest{ def apply() = "This apply is in class" def test{ println("test") }}//放在 object 对象中的方法都是静态方法//由于 object 中的方法和属性都是静态的，所以就是单例的理想... 阅读全文