摘要： 1.重入锁 目的：避免死锁的现象 锁作为并发共享数据，保证一致性的工具，在java平台有多种实现synchronized（重量级）和ReentrantLock（轻量级）等等，这些已经写好提供的锁为我们开发提供了便利； 重入锁：也叫作递归所，指的是同一线程外层函数获得锁之后，内层递归函数仍然有取该锁的 阅读全文

摘要： 1.集群间数据拷贝 1.1 scp实现两个远程主机之间的文件复制 scp -r hello.txt root@hadoop103:/user/luomk/hello.txt // 推 push scp -r root@hadoop103:/user/luomk/hello.txt hello.txt 阅读全文

摘要： 1.DataNode工作机制 1.一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的效验和，以及时间戳； 2.DataNode启动后向NameNode注册，通过后，周期性的向NameNode上报所有的块信息； 3.心跳是每三秒一 阅读全文

摘要： 1.NN和2NN工作机制 第一阶段：NameNode启动 (1) 第一次启动NameNode格式化后，创建fsimage和edits文件，如果不是第一次启动，直接加载编辑日志和镜像文件到内存； (2) 客户端对元数据进行增删改的请求； (3) NameNode记录操作日志，更新滚动日志； (4) N 阅读全文

摘要： 在并发队列上JDK提供了两种实现：一个是以ConcurrentLinkedQueue为代表的高性能队列，一个是以BlockingQueue接口为代表的阻塞队列，无论哪种都继承自Queue; ConcurrentLinkedQueue ConcurrentLinkedQueue：是一个适用于高并发场景 阅读全文

摘要： Callable 在java中，创建线程一般有两种方式，一种是继承Thread类，一种是实现Runnable接口。然而，这两种方式的缺点是在线程任务执行结束后，无法获取执行结果。我们一般只能采用共享变量或共享存储以及线程通信的方式实现获得任务结果的目的； 不过，在java中，也提供了使用Callab 阅读全文

摘要： HDFS写数据流程 1.客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已经存在，父目录是否存在； 2.NameNode返回是否可以上传文件； 3.客户端请求一个block上传到指定的那个DataNode服务器上； 4.Nam 阅读全文

摘要： API操作HDFS 1.上传文件 /*上传文件*/ @Test public void put() throws IOException, URISyntaxException, InterruptedException { //用于配置HDFS相关的参数 Configuration configu 阅读全文

摘要： 1.基本语法 bin/hadoop fs 具体命令 bin/hdfs dfs 具体命令 2.命令大全 [root@master hadoop]# bin/hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> .. 阅读全文

摘要： HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理。HDFS只是分布式文件管理系统中的一种； HDFS是什么 HDFS是基于java的分布式文件系统，允许您 阅读全文