总访问量： PV

DataScience && DataMining && BigData

2017年3月9日
JAVA补充-接口
摘要： 1.接口详解 2.实现接口的矩形类 1 package com.neusoft.interfaced; 2 3 public class Rectangle implements InterfaceDemo { 4 5 double width; 6 double height; 7 8 publi 阅读全文
posted @ 2017-03-09 10:59 CJZhaoSimons 阅读(222) 评论(0) 推荐(0)
JAVA补充-抽象类
摘要： 1.抽象类基本概念 2.以矩形、三角形等为例分析抽象类 1 package com.neusoft.abstracted; 2 3 public class Rectangle extends AbstractClassedDemo{ 4 5 public Rectangle(double w, d 阅读全文
posted @ 2017-03-09 10:51 CJZhaoSimons 阅读(244) 评论(0) 推荐(0)
Java基础类编程集锦
摘要： 1.计算1+2+3+4+5+6+7+8+9的值 1 package com.neusoft.chapter1; 2 /** 3 * @author zhao-chj 4 *题：计算1+2+3+4+5+6+7+8+9的值 5 */ 6 public class FirstPrograme { 7 pu 阅读全文
posted @ 2017-03-09 10:42 CJZhaoSimons 阅读(493) 评论(0) 推荐(0)
2017年3月5日
HDFS体系结构(NameNode、DataNode详解)
摘要： hadoop项目地址:http://hadoop.apache.org/ NameNode、DataNode详解 (一)分布式文件系统概述 数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就 阅读全文
posted @ 2017-03-05 19:05 CJZhaoSimons 阅读(32986) 评论(2) 推荐(10)
2017年2月26日
Hadoop伪分布安装详解(五)
摘要： 目录： 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ******************** 8.安装Hbase HBase是基于HDFS的一种列式数 阅读全文
posted @ 2017-02-26 22:22 CJZhaoSimons 阅读(760) 评论(1) 推荐(0)
Hadoop伪分布安装详解(四)
摘要： 目录： 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ******************** 为什么要安装Mysql？ 因为Hive的元数据和数据是分 阅读全文
posted @ 2017-02-26 20:17 CJZhaoSimons 阅读(1340) 评论(4) 推荐(0)
Hadoop伪分布安装详解(三)
摘要： 目录： 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ******************** 5.配置Hadoop(伪分布式) （1）通过Secure 阅读全文
posted @ 2017-02-26 19:02 CJZhaoSimons 阅读(1381) 评论(2) 推荐(1)
Hadoop伪分布安装详解(二)
摘要： 目录： 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ******************** 1.修改主机名和用户名 修改主机名：Centos中通过v 阅读全文
posted @ 2017-02-26 18:12 CJZhaoSimons 阅读(1176) 评论(0) 推荐(1)
Hadoop伪分布安装详解(一)
摘要： 注：以下截图针对Ubuntu操作系统，对Centos步骤类似。请读者选择不同镜像即可。 第一部分：VMware WorkStation10 安装 1.安装好VMware10虚拟机软件并下载好Ubuntu16.04 LTS 64位版的镜像包 2.打开VMware10虚拟机软件，选择“创建新的虚拟机” 阅读全文
posted @ 2017-02-26 16:17 CJZhaoSimons 阅读(1165) 评论(0) 推荐(0)
2017年2月22日
MapRedece(多表关联)
摘要： 多表关联： 准备数据 ******************************************** 工厂表： ************************************** **** 地址表： **************************************** 阅读全文
posted @ 2017-02-22 20:24 CJZhaoSimons 阅读(724) 评论(0) 推荐(0)
MapRedece(单表关联)
摘要： 源数据：Child--Parent表 目标：表的自连接：从图中可以找出Tom的grandparent为Marry和Ben，同理可以找出其他的人的grandparent 根据Child--Parent表推断grandchild和grandparent 左表 右表 将一张表分解为两张表的连接：从图中可以 阅读全文
posted @ 2017-02-22 17:02 CJZhaoSimons 阅读(613) 评论(0) 推荐(0)
MapReduce实例(数据去重)
摘要： 数据去重： 原理(理解)：Mapreduce程序首先应该确认<k3,v3>,根据<k3,v3>确定<k2,v2>，原始数据中出现次数超过一次的数据在输出文件中只出现一次。Reduce的输出是不重复的数据，也就是每一行数据作为key，即k3。而v3为空或不需要设值。根据<k3，v3>得到k2为每一行的 阅读全文
posted @ 2017-02-22 13:23 CJZhaoSimons 阅读(8206) 评论(2) 推荐(1)
2017年2月21日
Mapreduce其他部分
摘要： 1.hadoop的压缩codec Codec为压缩，解压缩的算法实现。 在Hadoop中，codec由CompressionCode的实现来表示。下面是一些实现： 可分割性：可分割与不可分割的区别：文件是否可被切成多个inputsplit。 对于不能切割的文件，如果使用mapreduce算法，需要切 阅读全文
posted @ 2017-02-21 23:17 CJZhaoSimons 阅读(394) 评论(0) 推荐(0)
MapReduce的洗牌(Shuffle)
摘要： Shuffle过程：数据从map端传输到reduce端的过程~ Map端 每个map有一个环形内存缓冲区，用于存储任务的输出。默认大小100MB（io.sort.mb属性），一旦达到阀值0.8（io.sort.spill.percent）,一个后台线程把内容写到(spill)磁盘的指定目录（mapr 阅读全文
posted @ 2017-02-21 22:01 CJZhaoSimons 阅读(693) 评论(0) 推荐(0)
MapReduce规约
摘要： 深入了解Combiners编程(相当于Map端的Reduce) 每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。 combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。 如果不用co 阅读全文
posted @ 2017-02-21 20:36 CJZhaoSimons 阅读(969) 评论(0) 推荐(1)