摘要: 官网下载地址 ​ https://dev.mysql.com/downloads/file/?id=471503 ​ 本文所用MySQL版本为5.7.19; 上传包 ​ 将mysql 5.7.19 1.el7.x86_64.rpm bundle.tar 安装包上传到/opt/soft目录(此目录可以 阅读全文
posted @ 2019-10-13 22:44 ShadowFiend 阅读(181) 评论(0) 推荐(0) 编辑
摘要: 环境说明 假设我们有三台机器分别为bigdata111,bigdata112,bigdata113,三台机器均为centos 7系统。 配置SSH免密登录 (1)利用Xshell的 发送键输入到所有会话 功能,在三台机器生成秘钥 (2) 利用Xshell的 发送键输入到所有会话 功能,将秘钥添加到集 阅读全文
posted @ 2019-09-02 23:21 ShadowFiend 阅读(552) 评论(0) 推荐(0) 编辑
摘要: JDK安装 设置hostname 设置机器hosts 创建jdk目录 上传jdk包 打开winSCP工具,通过winscp工具上传java jdk到linux 的/opt/soft文件夹下 解压jdk 将jdk文件解压到module文件夹下,命令如下: 设置jdk的环境变量 在文件末尾添加jdk的环 阅读全文
posted @ 2019-09-02 23:12 ShadowFiend 阅读(176) 评论(0) 推荐(0) 编辑
摘要: 环境说明 本文以三台机器为例,分别为bigdata111,bigdata112,bigdata113三台机器,先部署bigdata111机器,然后通过scp分发配置方式配置其他两台机器; 安装步骤 上传gz包 利用rz命令,上传zookeeper的gz包到/opt/soft/文件夹下。 解压gz包 阅读全文
posted @ 2019-09-02 23:08 ShadowFiend 阅读(330) 评论(0) 推荐(0) 编辑
摘要: 安装步骤 上传gz包 通过rz命令,将zookeeper 3.4.10.tar.gz安装包上传到/opt/soft/文件夹下。 解压包 通过tar命令解压zookeeper到/opt/module/目录下。 新建zkData目录 在zookeeper的解压目录下新建zkData文件夹,用于数据文件目 阅读全文
posted @ 2019-09-02 11:55 ShadowFiend 阅读(270) 评论(0) 推荐(0) 编辑
摘要: MapReduce和自定义Partition MobileDriver主类 JobUtils工具类 Map自定义类 Reduce自定义类 Partition自定义分区类 阅读全文
posted @ 2019-08-28 21:55 ShadowFiend 阅读(228) 评论(0) 推荐(0) 编辑
摘要: 概述 ​ 压缩技术能够有效减少底层存储系统(HDFS)读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下,尤其是数据规模很大和工作负载密集的情况下,使用数据压缩显得非常重要。在这种情况下,I/O操作和网络数据传输要花大量的时间。还有,Shuffle与Merge过程同样也面临着巨大的I/ 阅读全文
posted @ 2019-08-26 22:05 ShadowFiend 阅读(1307) 评论(0) 推荐(1) 编辑
摘要: ```java import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.util.Random; import java.util.Scanner; public cl 阅读全文
posted @ 2019-08-21 14:13 ShadowFiend 阅读(1849) 评论(0) 推荐(0) 编辑
摘要: ```java public static void deleteDirectory(String path) { File pFile = new File(path); //若目录以及文件不存在,则终止继续执行方法 if (!pFile.exists()) { return; } ... 阅读全文
posted @ 2019-08-17 22:42 ShadowFiend 阅读(177) 评论(0) 推荐(0) 编辑
摘要: 搭建Hadoop本地模式 本地模式就是单机装hadoop。 安装hadoop 上传hadoop包 通过winSCP上传hadoop包到/opt/soft/文件夹下 解压hadoop 解压hadoop到/opt/module/下 设置hadoop环境变量 末尾添加如下配置,保存退出: 刷新配置文件 查 阅读全文
posted @ 2019-08-10 17:44 ShadowFiend 阅读(592) 评论(0) 推荐(0) 编辑
摘要: 修改时间 date s 月/日/年 例如:date s 07/31/2019 date s 时:分:秒 例如:date s 23:56:50 hwclock w 将时间写到bois,防止重启机器时间配置失效 帮助命令 man 获得帮助信息 man 命令或配置文件 例如:man date 或 man 阅读全文
posted @ 2019-08-10 17:36 ShadowFiend 阅读(204) 评论(0) 推荐(0) 编辑
摘要: 合并单元格的情况,在开发中还是比较多见的,以下仅介绍合并行的情况。 原来的table效果 效果如下: 代码如下: 注意点: 要合并的单元格是经过此单元格的字段排序过的,保证合并单元格内的内容是紧挨着的。 阅读全文
posted @ 2018-02-22 11:38 ShadowFiend 阅读(3003) 评论(1) 推荐(0) 编辑
摘要: 1.PHP代码在PHP Storm中乱码,设置PHP Storm的默认文件编码格式为UTF-8; 文件->设置->编辑器->文件编码->将所有默认编码调整为UTF-8; 2.对于特定中文,利用内置函数iconv()转化; iconv('输入的文字编码','输出的文字编码','输入的文字'); 例如: 阅读全文
posted @ 2017-02-22 15:12 ShadowFiend 阅读(1997) 评论(0) 推荐(0) 编辑
摘要: 问题 环境:win7 + 64Bit + 本地mysql5.6 问题:navicat连接本地mysql数据库,提示“Cannot get hostname for your address”,但是连接其他远程mysql均没有问题,排除navicat客户端的问题。 试验:将localhost修改为本地 阅读全文
posted @ 2016-11-10 10:54 ShadowFiend 阅读(361) 评论(0) 推荐(0) 编辑
摘要: Browser Link 阅读全文
posted @ 2016-09-26 16:08 ShadowFiend 阅读(358) 评论(3) 推荐(1) 编辑