上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 24 下一页
2020年7月8日
HDFS之下载某个块的文件
摘要： 假如我有一个文件在HDFS上分成了0~3，共四块，那么如何把它们下载到本地并且恢复成完整的文件呢？ public class TestCustomUploadAndDownload { private FileSystem fs; private FileSystem localFs; privat 阅读全文
posted @ 2020-07-08 17:45 孙晨c 阅读(304) 评论(0) 推荐(0) 编辑
HDFS之自定义上传、下载文件的大小
摘要： 在之前的总结中，对文件的上传和下载都是默认的全部大小。 那么，如何做到上传文件时，只上传这个文件的一部分或只下载文件的某一部分？ 官方实现的代码： InputStream in=null; OutputStream out = null; try { in = srcFS.open(src); ou 阅读全文
posted @ 2020-07-08 17:31 孙晨c 阅读(275) 评论(0) 推荐(0) 编辑
Java面试题
摘要： Java部分 1、基础篇 ①怎么理解面对对象？ ②重载和重写区别？ ③什么是字节码？采用字节码文件最大的好处？ ④列举基本数据类型？分别所占字节？ ⑤StringBuffer、StringBuild区别？ ⑥异常怎么处理？ 2、集合篇 ①都有哪些集合？ ②Hashmap是线程安全的吗？为什么？ ③H 阅读全文
posted @ 2020-07-08 12:01 孙晨c 阅读(100) 评论(0) 推荐(0) 编辑
大数据面试题
摘要： Linux部分 ①列举你使用的常用指令？ ②怎么查看服务是否开启？后面的参数都是什么意思？ ③怎么查看服务器内存使用情况？ ④日志查看指令？ ⑤跨机房怎么传输文件？ Hadoop部分 ①怎么搭建一个Hadoop集群？ ②Hadoop的Shuffer机制？ ③切片概念？文件256M时，几个切片？ ④M 阅读全文
posted @ 2020-07-08 11:59 孙晨c 阅读(193) 评论(0) 推荐(0) 编辑
2020年7月7日
HDFS之使用Java客户端对文件的一些操作
摘要： 在这里总结了一下使用java对HDFS上文件的操作，比如创建目录、上传下载文件、文件改名、删除…… 首先对一些类名、变量名做出解释说明： FileSystem: 文件系统的抽象基类 FileSystem的实现取决于fs.defaultFS的配置！ 有两种实现！ LocalFileSystem： 本地 阅读全文
posted @ 2020-07-07 18:01 孙晨c 阅读(373) 评论(0) 推荐(0) 编辑
HDFS文件块大小（重点）
摘要： HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数(dfs.blocksize）来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。 那么，问题来了，为什么一个block的大小就是128M呢？ 默认为128M的原因，基于最佳传输损耗理论！ 不论对磁盘的文件 阅读全文
posted @ 2020-07-07 17:50 孙晨c 阅读(1647) 评论(0) 推荐(0) 编辑
HDFS概述及其优缺点
摘要： HDFS产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 HDFS定义 HDFS（Hadoop Distributed 阅读全文
posted @ 2020-07-07 17:38 孙晨c 阅读(631) 评论(0) 推荐(1) 编辑
2020年7月6日
集群的时间同步
摘要： 一个集群中，每台机器的时间必须保证是同步的！ 主要借助linux的ntp服务执行和远程时间服务器的时间同步！ 保证当前机器的ntp服务是开机自启动！ chkconfig --list ntpd 使用命令： ntpdate -u 时间服务器的地址 比如： ntpdate -u ntp1.aliyun. 阅读全文
posted @ 2020-07-06 17:25 孙晨c 阅读(135) 评论(0) 推荐(0) 编辑
linux中编写在多台机器上同时执行一条命令的脚本
摘要： 我们经常需要在集群中使用jps命令查看进程状态，而又懒得去每一台机器上分别执行jps命令，这时候就需要一个脚本文件来帮我们做这样的事情！ 编写一个名为xcall的脚本文件吧！ #!/bin/bash #在集群的所有机器上批量执行同一条命令 if(($#==0)) then echo 请输入您要操作的 阅读全文
posted @ 2020-07-06 16:16 孙晨c 阅读(825) 评论(0) 推荐(0) 编辑
linux中编写同步文件的脚本
摘要： 搭集群最麻烦的就是修改配置文件，如果只用修改一个机器上的配置文件，然后用一个脚本就可以把配置文件同步到其他机器上，岂不快哉！ 编写一个名为xsync的脚本文件： 作用： 将当前机器的文件，同步到集群所有机器的相同路径下！ hadoop102:/A/a , 执行脚本后，将此文件同步到集群中所有机器的 阅读全文
posted @ 2020-07-06 16:08 孙晨c 阅读(253) 评论(0) 推荐(0) 编辑
上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 24 下一页