末 - 博客园

2018年11月25日

摘要：一、Zookeeper简介二、Zookeeper工作机制 1、Zookeeper工作机制 2、Zookeeper目录结构 3、Zookeeper选举机制三、Zookeeper简单客户端API 四、Zoopeeper监听API 1、监听单节点内容 2、监听目录五、Zookeeper动态上下线感知阅读全文

posted @ 2018-11-25 11:30 末阅读(26233) 评论(1) 推荐(5)

2018年11月11日

centos7配置静态IP

摘要： [root@bigdata111 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO="static" #这行原来是是dhcp，改掉 DEFROUTE=yes IPV4_FAILURE_FATAL=yes IPV6INIT=yes... 阅读全文

posted @ 2018-11-11 22:19 末阅读(214) 评论(0) 推荐(0)

Windows10安装MySQL5.6.24

摘要： 1、解压安装包到指定目录如：E:\Java\mysql-5.6-24-win32 2、在E:\Java\mysql-5.6-24-win32目录下新建my.ini文件，内容如下 3、修改环境变量中的PATH 4.以系统管理员身份打开cmd命令行，执行命令至此，MySQL安装完毕！阅读全文

posted @ 2018-11-11 22:13 末阅读(1527) 评论(0) 推荐(0)

2018年11月4日

Hadoop总结

摘要：一、linux简介 01.Linux简介 linux是一种自由和开放源代码的类UNIX操作系统。该操作系统的内核由林纳斯·托瓦兹在1991年10月5日首次发布。，在加上用户空间的应用程序之后，成为Linux操作系统。应用：长时间的运行编写的程序代码，可以安装在各种计算机硬件设备中，如：手机、平板电脑、路由器等安卓最底层运行在linu... 阅读全文

posted @ 2018-11-04 23:01 末阅读(660) 评论(0) 推荐(0)

Hadoop优化

摘要： 1、mr程序的效率瓶颈功能：分布式离线计算计算机性能：CPU、内存、磁盘、网络 I/O操作优化（1）数据倾斜（代码优化）（2）map和reduce数设置不合理（3）map运行时间太长，导致reduce等待过久（4）小文件过多（combineTextInputFomrat小文件合并）（5）不可分块的超大文件（不断的溢写）... 阅读全文

posted @ 2018-11-04 22:59 末阅读(304) 评论(0) 推荐(0)

Hadoop压缩

摘要：一、Hadoop压缩简介二、Hadoop压缩使用方式 1.Mapper类 2.Reducer类 3.Driver类 4.输入文件words.txt 5.输出文件的名字分别如下三、自定义压缩工具 1.自定义压缩工具类 2.输入文件名 3.输出文件名阅读全文

posted @ 2018-11-04 18:21 末阅读(456) 评论(0) 推荐(0)

mapjoin与reducejoin

摘要：一、mapjoin 1.Mapper类 2.Driver类 3.输入文件 4.输出文件part-m-00000 二、reducejoin 1.Mapper类 2.Reducer类 3.封装类 4.Driver类 5.输入文件 6.输出文件part-r-00000 阅读全文

posted @ 2018-11-04 17:59 末阅读(262) 评论(0) 推荐(0)

MapReduce自定义InputFormat和OutputFormat

摘要：一、自定义InputFormat 1.Mapper类 2.Reducer类 3.自定义InputFormat类 4.自定义RecordReader类 5.Driver类 6.输入小文件 7.输出文件part-r-00000 二、自定义OutputFormat 需求:过滤日志文件把包含main的放在阅读全文

posted @ 2018-11-04 15:57 末阅读(1025) 评论(0) 推荐(0)

MapReduce辅助排序

摘要： 1.Mapper类 2.Reducer类 3.封装类 4.自定义分区类 5.自定义排序分组类 6.Driver类 7.mr输入文件order.java 8.输出文件阅读全文

posted @ 2018-11-04 15:13 末阅读(265) 评论(0) 推荐(0)

2018年10月26日

MapReduce分区和排序

摘要：一、排序二、分区和排序实例 1.Mapper类 2.Reducer类 3.封装类 4.自定义分区类 5.Driver类 6.输入的文件part-r-00000 7.如果第5步Driver类中的红色部分去掉，则输出全局排序后的文件part-r-00000 8.如果第5步Driver类中的红色部分不去阅读全文

posted @ 2018-10-26 00:15 末阅读(1554) 评论(0) 推荐(0)