2015 年 1月随笔档案 - shenlanzifa

用Scala语言轻松开发多线程、分布式以及集群式程序

摘要：原文：http://blog.csdn.net/pengyanhong/article/details/17112177 Akka framework现在已经是Scala语言的一部分了，用它编写分布式程序是相当简单的，本文将一步一步地讲解如何做到scale up & scale out。... 阅读全文

posted @ 2015-01-30 10:36 shenlanzifa 阅读(856) 评论(0) 推荐(0)

scala 读雷达数据文件，生成png

摘要：使用scala语言，从雷达文件中读取二维矩阵，并将矩阵保存成png 代码如下： import scala.io.Sourceimport java.io._import java.awt.Imageimport java.awt.Toolkitimport java.awt.image._... 阅读全文

posted @ 2015-01-30 10:27 shenlanzifa 阅读(441) 评论(0) 推荐(0)

linux下virtualBox挂载物理磁盘，启动第二块硬盘中的系统

摘要：问题描述：目前我有两个硬盘，一个装linux系统，一个装windows系统。我在linux系统里安装了virtualbox，想让vitualbox直接使用安装了windows系统的那块硬盘，而且希望不会对windows系统中的文件造成破坏。首先，很遗憾我没有完全实现，目前实现的是在lin... 阅读全文

posted @ 2015-01-16 10:31 shenlanzifa 阅读(3213) 评论(0) 推荐(0)

Spark RDD Cache算子的作用

摘要：我们经常会对RDD执行一系列Transformation算子操作，逻辑上每经历一次变换，就会将RDD转换为一个新的RDD，RDD会被划分成很多的分区分布到集群的多个节点中。分区是逻辑概念，为了防止函数式数据不可变行（immutable）导致的内存需求无限扩张，使得系统内存被快速... 阅读全文

posted @ 2015-01-14 16:53 shenlanzifa 阅读(1783) 评论(0) 推荐(0)

解决A master URL must be set in your configuration错误

摘要：在运行spark的测试程序SparkPi时，点击运行，出现了如下错误： Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration at or... 阅读全文

posted @ 2015-01-13 17:49 shenlanzifa 阅读(5075) 评论(0) 推荐(0)

修改默认jdk版本

摘要：执行两个命令： update-alternatives --install /usr/bin/java java /usr/java/jdk1.7.0_72/bin/java 1888 update-alternatives --config java 阅读全文

posted @ 2015-01-13 11:26 shenlanzifa 阅读(193) 评论(0) 推荐(0)

makefile 学习笔记

摘要：一、Makefile的规则 target ... : prerequisites ... command ... ... comman如果和target不是同一行，需要在第二行键入\t再键入command. target也就是一个目标文件，可以是Object File... 阅读全文

posted @ 2015-01-12 18:48 shenlanzifa 阅读(238) 评论(0) 推荐(0)

IntelliJ IDEA 偏好设置

摘要：一、皮肤/字体设置 File->Settings, 打开如下界面。参考下图：将Theme切换成＂Darcula＂，选择字体名称和字号大小，点击ＯＫ结束。此处设置的仅仅是编辑器界面的字体，要想修改代码的字体，还需要进行下面的配置：默认Editor Font 是无法使用的，需要把... 阅读全文

posted @ 2015-01-08 11:58 shenlanzifa 阅读(1638) 评论(0) 推荐(0)

Unix环境下的5中IO模型

摘要：本文是对《UNIX网络编程卷1》第6章的总结。一、什么是IO复用？它是内核提供的一种同时监控多个文件描述符状态改变的一种能力；例如当进程需要操作多个IO相关描述符时（例如服务器程序要同时查看监听socket和大量业务socket是否有数据到来），需要内核能够监控... 阅读全文

posted @ 2015-01-04 09:19 shenlanzifa 阅读(470) 评论(0) 推荐(0)