08 2019 档案

【Hadoop】MapReduce自定义分区Partition输出各运营商的手机号码
摘要：MapReduce和自定义Partition MobileDriver主类 JobUtils工具类 Map自定义类 Reduce自定义类 Partition自定义分区类 阅读全文
posted @ 2019-08-28 21:55 ShadowFiend 阅读(248) 评论(0) 推荐(0)
【Hadoop】Hadoop的数据压缩方式
摘要：概述 ​ 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的I/ 阅读全文
posted @ 2019-08-26 22:05 ShadowFiend 阅读(1505) 评论(0) 推荐(1)
【Java】生成随机的手机号码并输出到文件
摘要：```java import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.util.Random; import java.util.Scanner; public cl 阅读全文
posted @ 2019-08-21 14:13 ShadowFiend 阅读(1850) 评论(0) 推荐(0)
【Java】递归删除目录以及文件
摘要：```java public static void deleteDirectory(String path) { File pFile = new File(path); //若目录以及文件不存在，则终止继续执行方法 if (!pFile.exists()) { return; } ... 阅读全文
posted @ 2019-08-17 22:42 ShadowFiend 阅读(195) 评论(0) 推荐(0)
【Hadoop】单机、伪分布式、完全分布式集群搭建
摘要：搭建Hadoop本地模式 本地模式就是单机装hadoop。 安装hadoop 上传hadoop包 通过winSCP上传hadoop包到/opt/soft/文件夹下 解压hadoop 解压hadoop到/opt/module/下 设置hadoop环境变量 末尾添加如下配置，保存退出： 刷新配置文件 查 阅读全文
posted @ 2019-08-10 17:44 ShadowFiend 阅读(657) 评论(0) 推荐(0)
【Linux】常用基础命令
摘要：修改时间 date s 月/日/年 例如：date s 07/31/2019 date s 时:分:秒 例如：date s 23:56:50 hwclock w 将时间写到bois，防止重启机器时间配置失效 帮助命令 man 获得帮助信息 man 命令或配置文件 例如：man date 或 man 阅读全文
posted @ 2019-08-10 17:36 ShadowFiend 阅读(289) 评论(0) 推荐(0)