2017 年 6月 17 日随笔档案 - BurningMyself

2017年6月17日

摘要： 5 集群使用初步5.1 HDFS使用1、查看集群状态命令： hdfs dfsadmin –report 可以看出，集群共有3个datanode可用也可打开web控制台查看HDFS集群信息，在浏览器打开h... 阅读全文

posted @ 2017-06-17 14:09 BurningMyself 阅读(171) 评论(0) 推荐(0)

摘要： 4. 集群搭建4.1 HADOOP集群搭建4.1.1集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有 ... 阅读全文

posted @ 2017-06-17 14:06 BurningMyself 阅读(113) 评论(0) 推荐(0)

摘要： 3. 离线数据分析流程介绍注：本环节主要感受数据分析系统的宏观概念及处理流程，初步理解hadoop等框架在其中的应用环节，不用过于关注代码细节一个应用广泛的数据分析系统：“web日志数据挖掘” 3.1 需求分... 阅读全文

posted @ 2017-06-17 14:01 BurningMyself 阅读(155) 评论(0) 推荐(0)

摘要： 2 分布式系统概述注：由于大数据技术领域的各类技术框架基本上都是分布式系统，因此，理解hadoop、storm、spark等技术框架，都需要具备基本的分布式系统概念 2.1 分布式软件系统(Distributed... 阅读全文

posted @ 2017-06-17 13:56 BurningMyself 阅读(140) 评论(0) 推荐(0)

摘要： 1. HADOOP背景介绍1.1 什么是HADOOP1. HADOOP是apache旗下的一套开源软件平台2. HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3. HA... 阅读全文

posted @ 2017-06-17 13:55 BurningMyself 阅读(256) 评论(0) 推荐(0)