06大数据-hadoop - 随笔分类 - 四叶草Grass

Hadoop与MPP是什么关系?有什么区别和联系?

摘要：HADOOP与MPP是什么关系?有什么区别和联系? 适用范围、应用领域分别是什么? 其实MPP架构的关系型数据库与Hadoop的理论基础是极其相似的，都是将运算分布到节点中独立运算后进行结果合并。个人觉得区别仅仅在于前者跑的是SQL，后者底层处理则是MapReduce程序。但是我们会经常听到对于M 阅读全文

posted @ 2018-02-07 09:58 四叶草Grass 阅读(1680) 评论(0) 推荐(0)

Hadoop三种安装模式：单机模式，伪分布式，真正分布式

摘要：转载自：https://www.cnblogs.com/liango/p/7116620.html Hadoop的单机模式、伪分布式模式和完全分布式模式转载自：http://blog.csdn.net/vbskj/article/details/46753305 Hadoop三种安装模式：单机模式阅读全文

posted @ 2018-01-29 23:59 四叶草Grass 阅读(416) 评论(0) 推荐(0)

HADOOP1.X中HDFS工作原理

摘要：转载自：http://www.daniubiji.cn/archives/596 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文阅读全文

posted @ 2017-10-21 21:28 四叶草Grass 阅读(131) 评论(0) 推荐(0)

大数据时代——为什么用HADOOP？

摘要：转载自：http://www.daniubiji.cn/archives/538 什么叫大数据 “大”，说的并不仅是数据的“多”！不能用数据到了多少TB ，多少PB 来说。对于大数据，可以用四个词来表示：大量，多样，实时，价值。大量：这个大家都知道，想百度，淘宝，腾讯，Facebook，Twit 阅读全文

posted @ 2017-10-21 17:30 四叶草Grass 阅读(878) 评论(0) 推荐(0)

hadoop append 追加文件错误

摘要：java.io.IOException:Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try.(Nodes: current=[Da 阅读全文

posted @ 2017-08-27 16:31 四叶草Grass 阅读(2246) 评论(0) 推荐(0)

Java读写HDFS文件

摘要：一、依赖包maven路径  <dependency> <groupId>org.apache.hadoop</groupId> <artifactId 阅读全文

posted @ 2017-08-26 17:47 四叶草Grass 阅读(1687) 评论(0) 推荐(1)

windows系统如何设置域名解析

摘要：C:\Windows\System32\drivers\etc C:\Windows\System32\drivers\etc 阅读全文

posted @ 2017-08-08 23:29 四叶草Grass 阅读(908) 评论(0) 推荐(0)

HDFS管理工具HDFS Explorer

摘要：HDFS Explorer是一个在windows上管理HDFS系统的工具，支持上传、下载、重命、复制、移动和删除等。一、下载地址 CSDN下载地址：http://download.csdn.net/download/bolice888888/8648209 百度云盘下载地址：链接：http://p 阅读全文

posted @ 2017-08-07 19:56 四叶草Grass 阅读(3994) 评论(0) 推荐(0)

基于Eclipse搭建hadoop开发环境

摘要：一、基础环境准备 1、Eclipse 下载地址：http://pan.baidu.com/s/1slArxAP 2、JDK1.8 下载地址：http://pan.baidu.com/s/1i5iNyTZ 二、win10下hadoop开发环境搭建 1、下载hadoop插件：hadoop-eclipse 阅读全文

posted @ 2017-07-26 09:35 四叶草Grass 阅读(493) 评论(0) 推荐(0)

Hadoop "Cannot create directory .Name node is in safe mode."解决方案

摘要：转载自：http://www.waitig.com/hadoop-name-node-is-in-safe-mode.html 在使用Hadoop建立文件的时候，出现“Cannot create directory /user/hadoop/input. Name node is in safe m 阅读全文

posted @ 2017-07-26 09:33 四叶草Grass 阅读(1621) 评论(0) 推荐(0)

超详细单机版搭建hadoop环境图文解析

摘要：参考自：http://www.cnblogs.com/end/archive/2012/08/13/2636645.html Hadoop2.7.2之集群搭建（单机）一、安装Linux操作系统 VMware+Ubuntu安装详细过程 : http://blog.csdn.net/chongxin1 阅读全文

posted @ 2017-07-26 09:32 四叶草Grass 阅读(418) 评论(0) 推荐(0)

RedHat6.5上安装Hadoop单机

摘要：版本号：RedHat6.5 JDK1.8 Hadoop2.7.3 hadoop 说明：从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。基础环境准备： RedHat6 阅读全文

posted @ 2017-07-26 09:31 四叶草Grass 阅读(191) 评论(0) 推荐(0)

RedHat如何关闭防火墙： http://blog.csdn.net/chongxin1/article/details/76072758

摘要：版本号：RedHat6.5 JDK1.8 Hadoop2.7.3 hadoop 说明：从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。基础环境准备： RedHat6 阅读全文

posted @ 2017-07-05 21:01 四叶草Grass 阅读(351) 评论(0) 推荐(0)

随笔分类 - 06大数据-hadoop

公告