摘要：Hadoop建立起HDFS和YARN两个字系统，前者是文件系统，管数据存储；后者是计算框架，管数据处理。 如果只有HDFS而没有YARN，那么Hadoop集群可以被用作容错哦的文件服务器，别的就没有什么应用可言了。虽然HDFS是个分布式的文件系统，但是对服务器的用户来说那只是他的内部实现，从外部看与 阅读全文

摘要：HDFS是Hadoop集群的文件系统，这是一种分布（distributed）、容错（fault tolerant）的文件系统 所谓分布，是说整个文件系统的内容并非集中存储在一台或几台“文件服务器上”，而是分散在集群的不同节点上 对于大数据文件系统，文件之所以应该是分布式的，不再仅仅是容量和容错的问题 阅读全文

摘要：大数据特征：volume（数量）、variety（多样性）、velocity（产生的速度） 大数据特征：多、乱、快、杂 数据的来源：业务数据、日志、管理文档（OCR）、互联网、物联网、外购 阅读全文

摘要：数学里的 e 为什么叫做自然底数？是不是自然界里什么东西恰好是 e？ https://www.zhihu.com/question/20296247 阅读全文

摘要：Hadoop自带一套原子操作用于数据的I/O操作。 如果系统中需要处理的数据量达到Hadoop的处理极限时，数据被损害的概率还是很高的 检测数据是否被损害的常见措施是，在数据第一次被引进系统时，计算校验和（checksum），并在数据通过一个不可靠的通道进行传输时，再次计算校验和。 校验和也是可能损 阅读全文

摘要：1、HDFS中，目录作为元数据，保存在namenode中，而非datanode中 2、HDFS的文件权限模型与POSIX的权限模式非常相似，使用 r w x 3、HDFS的文件执行权限（X）可以忽略，因为你不能在hdfs中执行文件 Hadoop有一个抽象系统的概念，而HDFS只是其中的一个实现，支持 阅读全文

摘要：1、-help[cmd] 显示命令的帮助信息 ./hdfs dfs -help ls1 2、-ls(r) 显示当前目录下的所有文件 -R层层循出文件夹 ./hdfs dfs -ls /log/map ./hdfs dfs -lsr /log/ (递归的)1 3、-du(s) 显示目录中所有文件大小, 阅读全文

摘要：何时使用hadoop fs、hadoop dfs与hdfs dfs命令 编辑 删除 hadoop fs：使用面最广，可以操作任何文件系统。 编辑 删除 编辑 删除 hadoop dfs与hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一 阅读全文

摘要：Hadoop自带HDFS，即 Hadoop Distributed FileSystem（不是HaDoop FileSystem 的简称） 适用范围 超大文件：最新的容量达到PB级 流式数据访问：HDFS的构建思路：一次写入、多次读取时最高效的访问模式 低时间延迟的数据访问不适用HDFS 大量的小文 阅读全文

摘要：术语： job（作业）：客户端需要执行的一个工作单元，包括输入数据、MP程序、配置信息 Hadoop将job分成若干task（任务）来执行，其中包括两类任务：map任务、reduce任务。这些任务在集群的节点上，并通过YARN进行调度 Hadoop将MP输入数据划分成等长的小数据块，成为“输入分片（input split）。Hadoop为每个分片构建一个map任务 多余大多数作业来说，一个合理... 阅读全文

摘要：export HADOOP_CLASSPATH=hadoop-examples.jar hadoop MaxTemperature（类名） input/ncdc/sample.txt（参数一，输入文件路径，本地文件系统） output（参数二，输出文件路径，本地文件系统） 阅读全文

摘要：有句话说的好“大数据胜于好算法” 硬盘存储容量在不断提升的同时，访问速度（硬盘数据读取速度）却没有同步增长；1990年，访问全盘需要5分钟，20年后，需要2.5小时 不同的业务大数据，存储在一套HDFS上，但常常分析工作是在不同时间点进行的，所以彼此之间干扰并不太大 MP每次查询数据需要处理整个数据集，看是采用了一种蛮力方法，但却反映了它的能力 MP更适合那种没有用户在现场等待查询结果的离线使... 阅读全文