摘要：
小文件定义： 小文件是远小于hdfs块大小的文件，在hdfs上任何一个文件都有对应的元数据信息 小文件的坏处： 1、小文件太多，响应的元数据就会多，占用空间太多且namenode维护起来不方便 2、小文件太多，启动的MapTask就会过，增加开销 处理小文件的方式： 一、Har归档 HDFS存档文件 阅读全文
posted @ 2020-03-01 00:48
七寸青衫
阅读(654)
评论(0)
推荐(1)
摘要：
阅读全文
posted @ 2020-02-28 23:18
七寸青衫
阅读(123)
评论(0)
推荐(0)
摘要：
阅读全文
posted @ 2020-02-28 23:16
七寸青衫
阅读(128)
评论(0)
推荐(0)
摘要：
一、什么是序列化与反序列化 序列化是把对象转换为字节序列的过程，使之持久化到磁盘和网络传输（write过程） 反序列化是把字节序列转换为对象的过程，使之成为内存中的对象（read过程） 二、为什么要进行序列化与反序列化 对象只能在内存中 对象只能在本地的进程中使用 通过序列化与反序列的操作： 永久保 阅读全文
posted @ 2020-02-26 22:15
七寸青衫
阅读(629)
评论(0)
推荐(0)
摘要：
前提 开启四个集群 hadoop102、hadoop103、hadoop104、hadoop105 在102开启nn 104开启2nn 此时102~104均已开启dn 此时关闭105的dd 那么105此时的状态有两个阶段，此时在105上可以进行的操作： 一、没有心跳并没有dead（默认挂掉的时间为1 阅读全文
posted @ 2020-02-25 15:48
七寸青衫
阅读(636)
评论(0)
推荐(0)
摘要：
Linux学习总结： 1、需要熟练掌握各种命令，这是保证工作效率的基础。经常使用的命令 1）tar 解压 2）pwd查看所在的根目录 3）mkdir touch cp cat... 4) mv 移动文件或者重命名 2、对系统的中的用户权限需要熟练掌握。 1）whoami 查看当前用户信息 2) 修改 阅读全文
posted @ 2020-02-14 21:25
七寸青衫
阅读(158)
评论(0)
推荐(0)
摘要：
Java中集合使用时的几个注意事项： 1.ArrayList和HashMap都具有扩容 ArrayList初始化数组长度为10，扩容后的容量为原来的1.5倍。 HashMap初始化的数组长度为16，扩容后的控量为原来的2倍。 补充说明HashMap为什么扩容为原来的2倍？ 16 ， 32 ， 64 阅读全文
posted @ 2019-12-27 18:40
七寸青衫
阅读(258)
评论(0)
推荐(0)
浙公网安备 33010602011771号