摘要： 我们经常会对RDD执行一系列Transformation算子操作，逻辑上每经历一次变换，就会将RDD转换为一个新的RDD，RDD会被划分成很多的分区分布到集群的多个节点中。 分区是逻辑概念，为了防止函数式数据不可变行（immutable）导致的内存需求无限扩张，使得系统内存被快速... 阅读全文

摘要： 在运行spark的测试程序SparkPi时，点击运行，出现了如下错误： Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration at or... 阅读全文

摘要： 执行两个命令： update-alternatives --install /usr/bin/java java /usr/java/jdk1.7.0_72/bin/java 1888 update-alternatives --config java 阅读全文

摘要： 一、Makefile的规则 target ... : prerequisites ... command ... ... comman如果和target不是同一行，需要在第二行键入\t再键入command. target也就是一个目标文件，可以是Object File... 阅读全文

摘要： 一、 皮肤/字体设置 File->Settings, 打开如下界面。参考下图： 将Theme切换成＂Darcula＂，选择字体名称和字号大小，点击ＯＫ结束。 此处设置的仅仅是编辑器界面的字体，要想修改代码的字体，还需要进行下面的配置： 默认Editor Font 是无法使用的，需要把... 阅读全文

摘要： 本文是对《UNIX网络编程卷1》第6章的总结。 一、 什么是IO复用？ 它是内核提供的一种同时监控多个文件描述符状态改变的一种能力；例如当进程需要操作多个IO相关描述符时（例如服务器程序要同时查看监听socket和大量业务socket是否有数据到来），需要内核能够监控... 阅读全文

摘要： 概述 HBase是一个构建在HDFS上的分布式列存储系统； HBase是基于Google BigTable模型开发的，典型的key/value系统； HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储； 从逻辑上讲，HBase将数据按照表、行和列... 阅读全文

摘要： 阿里数据平台：http://www.alidata.org/archives 搜索技术博客-淘宝：http://www.searchtb.com/ 比较详细的Linux/Unix学习笔记：http://www.cnblogs.com/ggjucheng/archive/2012/08/18/2... 阅读全文

摘要： 原文：http://blog.csdn.net/woshiwanxin102213/article/details/17584043 1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Ma... 阅读全文

摘要： 以下sql针对local索引测试通过： --创建分区表空间 create tablespace CIMISDATA18 datafile '/home/oradata/chawether/CIMISDATA18.dbf' size 100M autoextend on; --添加表分区，并指定分... 阅读全文