大数据：HDFS&YARN&Hive - 文章分类 - 邹天得

hadoop回收站trash恢复误删除的文件

摘要：http://blog.csdn.net/gong_xucheng/article/details/17997603 刚刚测试Hadoop程序，一不小心把数据删掉了～～～好在是在测试机上，不然就蛋痛了，还是设置一下hadoop的回收站，以防万一首先：Hadoop回收站trash，默认是关闭的。习惯了阅读全文

posted @ 2017-06-16 09:34 邹天得阅读(2509) 评论(0) 推荐(0)

hdfs相关命令

摘要：1、在spark节点上进入hdfs，su hdfs 2、hdfs dfs -ls /zxvmax/telecom/lte/netmaxl/nbi 3、在hdfs上推数据：建表时，为了测试，建议用textfile格式： STORED AS textfile LOCATION '/zxvmax/tel 阅读全文

posted @ 2017-06-14 19:03 邹天得阅读(144) 评论(0) 推荐(0)

hive内部表与外部表区别详细介绍

摘要：http://www.aboutyun.com/thread-7458-1-1.html hive> create table wyp(id int, > name string, > age int, > tele string) > ROW FORMAT DELIMITED > FIELDS T 阅读全文

posted @ 2017-05-03 14:04 邹天得阅读(3648) 评论(1) 推荐(2)

Hive:ORC File Format存储格式详解

摘要：2014-04-16 https://www.iteblog.com/archives/1014.html 在Hive中，我们应该都听过RCFile这种格式吧，关于这种文件格式的结构什么的我就不介绍了，感兴趣的可以去网上找找。今天这篇文章要说的主题是ORC File。文章目录 1 一、定义 2 二阅读全文

posted @ 2017-03-24 09:05 邹天得阅读(725) 评论(0) 推荐(0)

[HADOOP] 简单了解NameNode的ZKFC机制

摘要：https://segmentfault.com/a/1190000004169627 之前在准备中级课程PPT，整理了下HA的基本内容，并且感谢松哥为我们提供了HA不会切的问题，以至于之后刚好出现的NameNode宕机，能够快速解决。 NameNode的HA可以个人认为简单分为共享editLog机阅读全文

posted @ 2017-03-21 11:29 邹天得阅读(316) 评论(0) 推荐(0)

Hadoop2.2.0中HDFS的高可用性实现原理

摘要：在Hadoop2.0.0之前，NameNode(NN)在HDFS集群中存在单点故障（single point of failure），每一个集群中存在一个NameNode，如果NN所在的机器出现了故障，那么将导致整个集群无法利用，直到NN重启或者在另一台主机上启动NN守护线程。主要在两方面影响了H 阅读全文

posted @ 2017-03-21 11:24 邹天得阅读(244) 评论(0) 推荐(0)

HDFS中的Namenode和Datanode

摘要：2013-01-08 10:01 石头儿石头儿我要评论(0) 字号：T | T 2013-01-08 10:01 石头儿石头儿我要评论(0) 字号：T | T 大数据中，HDFS集群以Master-Slave模式运行，主要有两类节点：一个Namenode(即Master)和多个Datanod 阅读全文

posted @ 2017-03-21 10:54 邹天得阅读(1041) 评论(0) 推荐(0)

hdfs常用命令

摘要：1.在spark-shell中查询的结果保存成文件 /home/mr/spark/bin/spark-shell (--master spark://$(echo `hostname`):7077 --executor-memory 5G --total-executor-cores 3,四川现场不阅读全文

posted @ 2017-03-21 10:33 邹天得阅读(954) 评论(0) 推荐(0)

Hadoop 新 MapReduce 框架 Yarn 详解

摘要：http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 简介：本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架阅读全文

posted @ 2017-02-14 19:38 邹天得阅读(327) 评论(0) 推荐(0)

HADOOP1.X中HDFS工作原理

摘要：http://www.weixuehao.com/archives/596 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文阅读全文

posted @ 2017-02-14 19:36 邹天得阅读(191) 评论(0) 推荐(0)

漫画HDFS工作原理

摘要：http://blog.csdn.net/netcoder/article/details/7442779?locationNum=2 作者不详，内容浅显易懂，特拿来与大家分享。阅读全文

posted @ 2017-02-14 19:35 邹天得阅读(163) 评论(0) 推荐(0)

文章分类 - 大数据：HDFS&YARN&Hive