摘要：
tar -c: 建立压缩档案-x：解压-t：查看内容-r：向压缩归档文件末尾追加文件-u：更新原压缩包中的文件 这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。-z：有gzip属性的-j：有bz2属性的-Z：有compr 阅读全文
posted @ 2017-07-24 14:03
霓裳梦竹
阅读(285)
评论(0)
推荐(0)
摘要：
前言 缓存，在我们日常开发中是必不可少的一种解决性能问题的方法。简单的说，cache 就是为了提升系统性能而开辟的一块内存空间。 缓存的主要作用是暂时在内存中保存业务系统的数据处理结果，并且等待下次访问使用。在日常开发的很多场合，由于受限于硬盘IO的性能或者我们自身业务系统的数据处理和获取可能非常费 阅读全文
posted @ 2017-07-21 15:52
霓裳梦竹
阅读(337)
评论(0)
推荐(0)
摘要：
一、邮件协议 电子邮件的在网络中传输和网页一样需要遵从特定的协议，常用的电子邮件协议包括 SMTP，POP3，IMAP。其中邮件的创建和发送只需要用到 SMTP协议，所有本文也只会涉及到SMTP协议。SMTP 是 Simple Mail Transfer Protocol 的简称，即简单邮件传输协议 阅读全文
posted @ 2017-07-20 11:53
霓裳梦竹
阅读(842)
评论(0)
推荐(0)
摘要：
一、项目采用maven构建，如下为pom.xml中引入的jar包 二、输入文件 三、代码实现 四、输出结果 五、reduce输出内容 阅读全文
posted @ 2017-07-19 14:01
霓裳梦竹
阅读(392)
评论(0)
推荐(0)
摘要：
一、下载Eclipse并安装 二、下载exlipse的hadoop plugin 三、打开Map Reduce视图 Window --> Perspective --> Open perspective 四、编辑Hadoop Location 五、查看是否连接成功 六、上传文件或文件夹测试是否成功 阅读全文
posted @ 2017-07-19 09:47
霓裳梦竹
阅读(745)
评论(0)
推荐(0)
摘要：
修改namenode上的hdfs-site.xml 启动之后各个节点上进程： 阅读全文
posted @ 2017-07-19 09:28
霓裳梦竹
阅读(238)
评论(0)
推荐(0)
摘要：
文件内容例如： 小明 小李 小花 小白 阅读全文
posted @ 2017-07-18 23:30
霓裳梦竹
阅读(423)
评论(0)
推荐(0)
摘要：
一、引入 hadoop的分布式计算框架（MapReduce是离线计算框架） 二、MapReduce设计理念 移动计算，而不是移动数据。 Input HDFS先进行处理切成数据块（split） map sort reduce 输出数据（output HDFS） 三、示例 Mapping是根据我们书写的 阅读全文
posted @ 2017-07-16 23:28
霓裳梦竹
阅读(830)
评论(0)
推荐(0)
摘要：
HDFS文件权限 1、与linux文件权限类型 r:read w:write x:execute权限x对于文件忽略，对于文件夹表示是否允许访问其内容 2、如果linux系统用户sanglp使用hadoop命令创建一个文件，那么这个文件在HDFS中owner就是sanglp 3、HDFS的权限目的：阻 阅读全文
posted @ 2017-07-15 18:37
霓裳梦竹
阅读(704)
评论(0)
推荐(0)
摘要：
一、定义 高级加密标准（英语：Advanced Encryption Standard，缩写：AES），在密码学中又称Rijndael加密法，是美国联邦政府采用的一种区块加密标准。这个标准用来替代原先的DES，已经被多方分析且广为全世界所使用。经过五年的甄选流程，高级加密标准由美国国家标准与技术研究 阅读全文
posted @ 2017-07-14 16:38
霓裳梦竹
阅读(699)
评论(0)
推荐(0)
摘要：
一、Spring依赖注入depents-on参数 depents-on是指指定Bean初始化及销毁时的顺序，使用depends-on属性指定的是Bean要先初始化完毕后才初始化当前Bean,由于只有Singleton Bean能被Spring管理销毁，所以当指定的Bean都是singleton时，使 阅读全文
posted @ 2017-07-13 11:05
霓裳梦竹
阅读(5767)
评论(0)
推荐(0)
摘要：
DataNode的写操作流程 DataNode的写操作流程可以分为两部分，第一部分是写操作之前的准备工作，包括与NameNode的通信等；第二部分是真正的写操作。 一、准备工作 1、首先，HDFS client会去询问NameNoed,看哪些DataNode可以存储Block A，file.txt文 阅读全文
posted @ 2017-07-11 23:52
霓裳梦竹
阅读(2265)
评论(0)
推荐(0)
摘要：
一、Ambari简介 The Apache Ambari project is aimed at making Hadoop management simpler by developing software for provisioning, managing, and monitoring Ap 阅读全文
posted @ 2017-06-23 17:19
霓裳梦竹
阅读(323)
评论(0)
推荐(0)
摘要：
一、添加用户和用户组 adduser hadoop 将hadoop用户添加进sudo用户组 sudo usermod -G sudo hadoop 或者 visudo 二、安装jdk 具体操作参考：centos安装JDK 三、配置ssh免密登陆 具体才做可见：【linux系列】配置免密登陆 四、下载 阅读全文
posted @ 2017-06-22 13:35
霓裳梦竹
阅读(267)
评论(0)
推荐(0)
摘要：
一、在System类中查看方法的定义 二、示例 阅读全文
posted @ 2017-06-21 17:15
霓裳梦竹
阅读(392)
评论(0)
推荐(0)
摘要：
写在前面 因为最近在接触hadoop的东西，看示例WordCount的时候里面有一个StringTokenizer的东西特地看了一下 一、构造方法 StringTokenizer一共有如下三个构造方法 二、三种方法使用示例 三、StringTokenizer常用的方法hasMoreTokens(), 阅读全文
posted @ 2017-06-21 16:44
霓裳梦竹
阅读(430)
评论(0)
推荐(0)
摘要：
一、hadoop的配置文件分类 1、只读类型的默认文件 core-default.xml hdfs-default.xml mapred-default.xml mapred-queues.xml 2、定位设置 core-site.xml hdfs-site.xml mapred-site.xml 阅读全文
posted @ 2017-06-21 14:00
霓裳梦竹
阅读(397)
评论(1)
推荐(0)
摘要：
一、设置桥接模式 VMware->Edit->Virtual Network Edit 二、查看物理机的ip地址 三、根据物理机的ip地址，设置linux虚拟机的ip地址 四、网络重启 五、在/etc/sysconfig/network中添加网关地址 六、测试主机和虚拟机之间，网关、外网之间是否通 阅读全文
posted @ 2017-06-20 17:13
霓裳梦竹
阅读(13417)
评论(0)
推荐(2)
浙公网安备 33010602011771号