02 2016 档案

scala入门教程：scala中的面向对象定义类，构造函数，继承
摘要：我们知道scala中一切皆为对象，函数也是对象，数字也是对象，它是一个比java还要面向对象的语言。 定义scala的简单类 class Point (val x:Int, val y:Int) 上面一行代码就是一个scala类的定义： 首先是关键字class 其后是类名 Point 类名之后的括号 阅读全文
posted @ 2016-02-09 12:55 nele 阅读(1022) 评论(0) 推荐(0)
Scala 中object和class的区别
摘要：Scala中没有静态类型，但是有有“伴侣对象”，起到类似的作用。 Scala中类对象中不可有静态变量和静态方法，但是提供了“伴侣对象”的功能：在和类的同一个文件中定义同名的Object对象：(须在同一文件中；main方法定义在Object对象中) private[spark] class Clien 阅读全文
posted @ 2016-02-09 12:33 nele 阅读(3695) 评论(0) 推荐(0)
从零学习storm（一） 环境的安装配置
摘要：1.首先 安装zookeeper 2.安装Java环境 3.安装Python 下载python包,编译安装 1.解压 2.configure 3.make 4make install 4.Storm集群的安装部署 1）上传文件解压 在 conf/storm.yaml 进行相关配置 （配置文件格式一定 阅读全文
posted @ 2016-02-05 17:58 nele 阅读(265) 评论(0) 推荐(0)
mapreduce 自定义数据类型的简单的应用
摘要：本文以手机流量统计为例： 日志中包含下面字段 现在需要统计手机的上行数据包，下行数据包，上行总流量，下行总流量。 分析：可以以手机号为key 以上4个字段为value传传递数据。 这样则需要自己定义一个数据类型，用于封装要统计的4个字段，在map 与reduce之间传递和shuffle 注：作为ke 阅读全文
posted @ 2016-02-02 17:18 nele 阅读(1241) 评论(0) 推荐(0)
自定义MapReduce的类型
摘要：package org.apache.hadoop.mapreduce.io; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.io.W 阅读全文
posted @ 2016-02-02 15:29 nele 阅读(288) 评论(0) 推荐(0)
mapreduce 模板
摘要：/*** * MapReduce Module * @author nele * */ public class ModuleMapReduce extends Configured implements Tool { // map class /** * * @author nele * TODO 阅读全文
posted @ 2016-02-02 14:54 nele 阅读(352) 评论(0) 推荐(0)
mapreduce 本地调试需要注意的问题
摘要：1.写好的程序直接在hadoop集群里面执行 2.如果需要在本地调试，需要注释掉mapred-site.xml <configuration> <!-- <property> <name>mapreduce.framework.name</name> <value>yarn</value> </pr 阅读全文
posted @ 2016-02-02 12:55 nele 阅读(594) 评论(0) 推荐(0)