XIAO的博客

将存储在本地的大量分散的小文件，合并并保存在hdfs文件系统中

摘要： import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import jav... 阅读全文

posted @ 2015-02-11 16:38 XIAO的博客阅读(988) 评论(0) 推荐(0)

Spark读取HDFS文件，文件格式为GB2312，转换为UTF-8

摘要： package iie.udps.example.operator.spark; import scala.Tuple2; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apa... 阅读全文

posted @ 2015-02-09 11:52 XIAO的博客阅读(3219) 评论(0) 推荐(0)

java生成随机大数据文件

摘要： package iie.udps.test;import java.io.BufferedWriter;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.io.Outp... 阅读全文

posted @ 2015-02-09 11:48 XIAO的博客阅读(1256) 评论(0) 推荐(0)

spark读hdfs文件实现wordcount并将结果存回hdfs

摘要： package iie.udps.example.operator.spark; import scala.Tuple2; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.a... 阅读全文

posted @ 2015-02-09 11:45 XIAO的博客阅读(2809) 评论(0) 推荐(0)

spark streaming 实现接收网络传输数据进行WordCount功能

摘要： package iie.udps.example.operator.spark;import scala.Tuple2;import org.apache.spark.SparkConf;import org.apache.spark.api.java.function.FlatMapFunctio... 阅读全文

posted @ 2015-02-09 11:42 XIAO的博客阅读(859) 评论(0) 推荐(0)

spark mllib k-means算法实现

摘要： package iie.udps.example.spark.mllib; import java.util.regex.Pattern; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext;... 阅读全文

posted @ 2015-02-09 11:39 XIAO的博客阅读(1048) 评论(0) 推荐(0)

java实现读取文件大全

摘要： 1、按字节读取文件内容2、按字符读取文件内容3、按行读取文件内容4、随机读取文件内容public class ReadFromFile { /** * 以字节为单位读取文件，常用于读二进制文件，如图片、声音、影像等文件。 */ public static void rea... 阅读全文

posted @ 2014-12-24 11:40 XIAO的博客阅读(369) 评论(0) 推荐(0)

spark+hcatalog操作hive表及其数据

摘要： package iie.hadoop.hcatalog.spark; import iie.udps.common.hcatalog.SerHCatInputFormat; import iie.udps.common.hcatalog.SerHCatOutputFormat; import java.io.BufferedReader; import java.io.IOException... 阅读全文

posted @ 2014-12-24 11:21 XIAO的博客阅读(1611) 评论(2) 推荐(0)

在hdfs上存取xml文件的实现代码

摘要：要读取的文件为：/user/hdfs/stdin.xml SK9cohJD4yklcD8dJuZXDA default.test1 要存的文件为：/user/hdfs/stdin.xml SK9cohJD4yklcD8dJuZXDA ... 阅读全文

posted @ 2014-12-24 11:13 XIAO的博客阅读(648) 评论(0) 推荐(0)

hadoop shell 详解

摘要：概述所有的hadoop命令均由bin/hadoop脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。用法： Hadoop有一个选项解析框架用于解析一般的选项和运行类。命令选项 --config confdir 覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。 GEN 阅读全文

posted @ 2014-12-17 10:07 XIAO的博客阅读(600) 评论(0) 推荐(0)

公告

导航