Mr. Yang

摘要： 1.编辑/etc/sysconfig/network [root@localhost ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop-01 2.hostname 直接命名 [root@localhost ~]#hostname 阅读全文

摘要： pwd cd hostname ls 查看文件内容 查看文件(文件夹)的大小 vi alias touch mkdir rm ps/netstat 搜索 echo wget yum 搜索、卸载rpm mv、cp tar、zip 磁盘和内存 用户和用户组 切换用户su 修改文件权限 软连接 3. sc 阅读全文

摘要： 如果两个操作访问同一个变量，且这两个操作中有一个为写操作，此时这两个操作之间就存在数据依赖性。数据依赖分下列三种类型： 上面三种情况，只要重排序两个操作的执行顺序，程序的执行结果将会被改变。 前面提到过，编译器和处理器可能会对操作做重排序。编译器和处理器在重排序时，会遵守数据依赖性，编译器和处理器不 阅读全文

摘要： 1.3台机器执行[root@hadoop001 ~]# ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): Created director 阅读全文

摘要： 一、Hadoop之三大组件 HDFS———->数据存储 MapReduce—>作业计算框架 Yarn———–>资源调度 二、HDFS 1、启动HDFS查看进程 1 2 3 4 5 6 2、由此可见HDFS进程有三个，分别为NameNode(nn)、DateNode(dn)、SecondaryName 阅读全文

摘要： 单一原则：负责类的粒度大小。简单的说就是一个类或者方法让它负责一种功能开闭原则: 一个类或者功能对扩展开放，对修改关闭。就是在程序扩展的时候不能去修改原有的代码，里氏替换原则：所有引用基类（父类）的地方都能，都能用子类来代替。实际就是子类可以扩展父类的功能，但不能改变父类原有的功能依赖倒置原则：面向 阅读全文

摘要： java语言天生有一个 先行发生原则，无须借助任何同步器就存在 这是判断线程是否存在竞争，线程是否安全的主要依据， 1、程序次序规则：在一个线程内，书写在前面的代码先行发生于后面的。确切地说应该是，按照程序的控制流顺序，因为存在一些分支结构。 2、管程锁定规则。一个unlock操作先行发生于后面对同 阅读全文

摘要： 读文件的过程 1.hdfs client调用FileSystem的open()函数打开文件 2.DistributedFileSystem用RPC调用namenode节点，返回文件部分或全部的block列表（也包含该列表各个block块的分布在datanode的地址信息）并返回fsdataInput 阅读全文

摘要： 先了解一下硬件的内存架构，由于计算机的处理器和存储设备运行速度相差几个数量及，所以现代计算及系统不得不加入一层与处理器速度近似相近的高速缓存，来解决处理器和内存之间的缓冲，将运算需要使用的数据复制到缓存中，让计算机快速运行，当运算结束后在同步到主内存中。这个处理器就无需等待缓慢的内存读写了，但是随之 阅读全文

摘要： 1.启动hdfs进程名称 namenode 名称节点datanode 数据节点secondary namenode 第二名称节点 2.分块存储之前默认64m，现在默认128m （dfs.blocksize 128m）例子： 一个文件 110M 110/128 分为1 块 第一块 110M 130M 阅读全文