~风轻云淡~ - 博客园

2015年11月28日

摘要：程序如下：import org.apache.spark.sql.Row;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaS... 阅读全文

posted @ 2015-11-28 19:13 ~风轻云淡~ 阅读(5709) 评论(0) 推荐(0)

Spark从HDFS上读取JSON数据

摘要：代码如下：import org.apache.spark.sql.Row;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaS... 阅读全文

posted @ 2015-11-28 18:50 ~风轻云淡~ 阅读(2217) 评论(0) 推荐(0)

Spark中加载本地（或者hdfs）文件以及SparkContext实例的textFile使用

摘要：原文链接：Spark中加载本地（或者hdfs）文件以及SparkContext实例的textFile使用默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读本地文件读取 sc.textFile("路径").在路径... 阅读全文

posted @ 2015-11-28 16:56 ~风轻云淡~ 阅读(3414) 评论(0) 推荐(0)

FLume监控文件夹，将数据发送给Kafka以及HDFS的配置文件详解

摘要：详细配置文件flume-conf.properties如下：############################################# producer config############################################agent sectionp... 阅读全文

posted @ 2015-11-28 11:25 ~风轻云淡~ 阅读(5191) 评论(1) 推荐(0)

用Spark查询HBase中的表数据

摘要： java代码如下：package db.query;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.apache.hadoop.conf.Configurati... 阅读全文

posted @ 2015-11-28 11:20 ~风轻云淡~ 阅读(6571) 评论(0) 推荐(1)

用Spark向HBase中插入数据

摘要： java代码如下：package db.insert;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.spark.SparkConf;import org.apache.spark.api.ja... 阅读全文

posted @ 2015-11-28 11:17 ~风轻云淡~ 阅读(1377) 评论(0) 推荐(0)

用Java操纵HBase数据库（新建表，插入，删除，查找）

摘要： java代码如下：package db.insert;/* * 创建一个students表,并进行相关操作 */import java.io.IOException;import java.io.Serializable;import java.util.ArrayList;import java.... 阅读全文

posted @ 2015-11-28 11:12 ~风轻云淡~ 阅读(1269) 评论(0) 推荐(0)

2015年11月25日

HBase入门基础教程之单机模式与伪分布式模式安装（转）

摘要：原文链接：HBase入门基础教程在本篇文章中，我们将介绍Hbase的单机模式安装与伪分布式的安装方式，以及通过浏览器查看Hbase的用户界面。搭建HBase伪分布式环境的前提是我们已经搭建好了Hadoop完全分布式环境，搭建Hadoop环境请参考：【Hadoop入门基础教程】4、Hadoop之完全分... 阅读全文

posted @ 2015-11-25 15:31 ~风轻云淡~ 阅读(436) 评论(0) 推荐(0)

java操作Hbase实例

摘要：所用HBase版本为1.1.2，hadoop版本为2.4/* * 创建一个students表,并进行相关操作 */import java.io.IOException;import java.util.ArrayList;import java.util.List; import org.apach... 阅读全文

posted @ 2015-11-25 09:57 ~风轻云淡~ 阅读(2382) 评论(1) 推荐(0)

2015年11月24日

HBase目录

摘要： 1. HBase介绍及简易安装（转）2. java操作Hbase实例3. HBase入门基础教程之单机模式与伪分布式模式安装（转）4. HBase教程5. 用Java操纵HBase数据库（新建表，插入，删除，查找）6. 用Spark向HBase中插入数据7. 用Spark查询HBase中的表数据8.... 阅读全文

posted @ 2015-11-24 20:42 ~风轻云淡~ 阅读(215) 评论(0) 推荐(0)

公告