09 2017 档案

Hadoop 之 shuffle
摘要：Shuffle过程是MapReduce的核心，描述着数据从map task输出到reduce task输入的这段过程。 Hadoop的集群环境，大部分的map task和reduce task是执行在不同的节点上的，那么reduce就要取map的输出结果。那么集群中运行多个Job时，task的正常执 阅读全文
posted @ 2017-09-17 22:28 不系之舟coder 阅读(3423) 评论(0) 推荐(0)
Hadoop 之HDFS
摘要：Hadoop是什么？ Hadoop是一个能够对大量数据进行分布式处理的软件框架，实现了Google的MapReduce编程模型和框架，能够把应用程序分割成许多的 小的工作单元，并把这些单元放到任何集群节点上执行。在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划 阅读全文
posted @ 2017-09-14 21:03 不系之舟coder 阅读(312) 评论(0) 推荐(0)
FTP和SSH的区别
摘要：今天在写代码的时候，突然想到利用xshell连接虚拟机都要输入密码，而从本机访问虚拟机却不需要，有些疑惑，原来是使用的服务不一致，下面是查到的资料 （1）SSH为建立在应用层和传输层基础上的安全协议，SSH采用面向连接的TCP协议传输 应用22号端口，安全系数较高。 （2）FTP是File Tran 阅读全文
posted @ 2017-09-12 21:54 不系之舟coder 阅读(16033) 评论(0) 推荐(1)
Hadoop之回收站
摘要：一、回收站简介： 在HDFS里，删除文件时，不会真正的删除，其实是放入回收站/trash，回收站里的文件可以快速恢复。 可以设置一个时间阀值，当回收站里文件的存放时间超过这个阀值或是回收站被清空时，文件才会被彻底删除，并且释放占用的数据块。 二、设置： Hadoop的回收站trash功能默认是关闭的 阅读全文
posted @ 2017-09-12 20:02 不系之舟coder 阅读(287) 评论(0) 推荐(0)
什么是簇？
摘要：文件系统是操作系统与驱动器之间的接口，当操作系统请求从硬盘里读取一个文件时，会请求相应的文件系统(FAT 16/32/NTFS)打开文件。扇区是磁盘最小的物理存储单元，但由于操作系统无法对数目众多的扇区进行寻址，所以操作系统就将相邻的扇区组合在一起，形成一个簇，然后再对簇进行管理。每个簇可以包括2、 阅读全文
posted @ 2017-09-11 20:24 不系之舟coder 阅读(2048) 评论(0) 推荐(0)
linux中环境变量的配置
摘要：vim /etc/profile JAVA_HOME=/home/software/jdk1.8 HADOOP_HOME=/home/software/hadoop 2.7.1 PATH=./:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sb 阅读全文
posted @ 2017-09-11 20:05 不系之舟coder 阅读(129) 评论(0) 推荐(0)
windows系统中的系统变量和用户变量，以及配置JDK中各个参数的意义
摘要：环境变量是什么？ 环境变量，是在操作系统中一个具有特定名字的对象，它包含了一个或者多个应用程序所将使用到的信息。例如Windows和DOS操作系统中的path环境变量，当要求系统运行一个程序而没有告诉它程序所在的完整路径时，系统除了在当前目录下面寻找此程序外，还应到path中指定的路径去找。用户通过 阅读全文
posted @ 2017-09-11 20:04 不系之舟coder 阅读(2865) 评论(0) 推荐(0)
linux 中yum和rpm 总结
摘要：RPM介绍：可以在linux环境下被安装或被卸载的程序软件包。通过Linux的rpm指令来进行安装或 卸载； RPM优点： RPM内含已经编译过的程序与配置文件等数据,可以让用户免除重 新编译的困扰；  RPM在被安装之前,会先检查系统的硬盘容量、操作系统版本等,可 避免文件被错误安装；  RP 阅读全文
posted @ 2017-09-10 22:07 不系之舟coder 阅读(328) 评论(0) 推荐(0)