卖臭豆腐喽 - 博客园

2017年3月6日

摘要： RDD是spark抽象的基石，可以说整个spark编程就是对RDD进行的操作 RDD是弹性的分布式数据集，它是只读的，可分区的，这个数据集的全部或者部分数据可以缓存在内存中，在多次计算间重用。所谓的弹性意思是：内存不够时可以与磁盘进行交换。这是RDD另一个特性：内存计算。就是将数据保存到内存中，同时阅读全文

posted @ 2017-03-06 22:43 卖臭豆腐喽阅读(369) 评论(0) 推荐(0)

eclipse编写scala应用运行在spark集群上

摘要：代码输出结果阅读全文

posted @ 2017-03-06 22:36 卖臭豆腐喽阅读(585) 评论(0) 推荐(0)

spark-submit 提交任务

摘要：将工程打成jar 放入到linux中切换到[root@node4 Desktop]# cd /usr/local/development/spark-2.0-hadoop2.6/bin/ 输入命令打印出结果阅读全文

posted @ 2017-03-06 22:29 卖臭豆腐喽阅读(1235) 评论(0) 推荐(0)

2017年2月9日

scala 遇到过的问题

摘要： 1：在我安装完scala的插件后，在打开方法的实现类（open implementactions）的时候，抛出这个异常，后来发现这个异常是因为我的scala的插件跟我eclipse版本不兼容导致的。 An error occurred while searching for implementati 阅读全文

posted @ 2017-02-09 10:12 卖臭豆腐喽阅读(5655) 评论(2) 推荐(0)

2017年1月19日

An error occurred while searching for implementations of method

摘要： 1：在我安装完scala的插件后，在打开方法的实现类（open implementactions）的时候，抛出这个异常，后来发现这个异常是因为我的scala的插件跟我eclipse版本不兼容导致的。 An error occurred while searching for implementati 阅读全文

posted @ 2017-01-19 15:36 卖臭豆腐喽阅读(939) 评论(0) 推荐(0)

2017年1月18日

eclipse 开发 scala

摘要： (环境：jdk1.7,scala插件scala-2.1.1.2-site.zip) 1:下载scala插件 http://download.scala-ide.org/sdk/helium/e38/scala211/stable/site 2：解压到本地将这两个文件里的jar包全部复制到eclip 阅读全文

posted @ 2017-01-18 15:40 卖臭豆腐喽阅读(854) 评论(0) 推荐(0)

2017年1月12日

hbase的数据模型

摘要： hbase类似bigTable是一个分布式的数据库，它是一个稀疏的，长期存储的，多维的，排序的映射表，这张表的索引是行关键字，列关键字，时间戳。hbase中的数据都是字符串，没有类型。 hbase表格中的数据，每行都有一个可排序的主键和任意多的列，由于是稀疏存储，所以每一行中的列都可以截然不同列名阅读全文

posted @ 2017-01-12 11:33 卖臭豆腐喽阅读(307) 评论(0) 推荐(0)

Hbase和RDBMS（关系数据库管理系统）区别

摘要： hbase是一个基于列模式的映射数据库，键 >数据的映射，大大简化了传统数据数据类型：hbase的存储的数据都是字符串，所有的类型都有用户自己处理，他只保存字符串;传统的数据有丰富的数据类型和存储方式数据操作：hbase只有简单的插入，查询，删除，清空等操作。表与表之间都是分离的，没有那么多阅读全文

posted @ 2017-01-12 11:27 卖臭豆腐喽阅读(1427) 评论(0) 推荐(0)

hbase和mapreduce开发 WordCount

摘要：代码： /** * hello world by world 测试数据 * @author a * */ public class DefinedMapper extends Mapper<LongWritable, Text, Text, LongWritable>{ @Override prot 阅读全文

posted @ 2017-01-12 11:12 卖臭豆腐喽阅读(1271) 评论(0) 推荐(0)

使用eclipse开发hbase程序

摘要：一：在eclipse创建一个普通的java项目二：新建一个文件夹，把hbase需要的jar放进去，我这里把hbase/lib/*.jar 下所有的jar都放进去了，最后发现就用到了下面三个jar包 hadoop-common-2.6.4.jar hbase-common-1.2.4.jar hba 阅读全文

posted @ 2017-01-12 10:58 卖臭豆腐喽阅读(3584) 评论(0) 推荐(0)

薛定谔的猫！

公告