摘要: 常见端口汇总:Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 19888:j 阅读全文
posted @ 2019-11-18 19:35 玩转大数据 阅读(727) 评论(0) 推荐(0)
摘要: FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是fi 阅读全文
posted @ 2019-11-18 19:20 玩转大数据 阅读(977) 评论(0) 推荐(0)
摘要: 1、上传 解压 2、配置环境变量 export ZOOKEEPER_HOME=/root/Downloads/zookeeper-3.4.5 export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/sbin 3、在zk下创建data文件 创建dat 阅读全文
posted @ 2019-11-17 21:07 玩转大数据 阅读(118) 评论(0) 推荐(0)
摘要: 1,sleep方法是Thread类的静态方法,wait()是Object超类的成员方法 2,sleep()方法导致了程序暂停执行指定的时间,让出cpu该其他线程,但是他的监控状态依然保持者,当指定的时间到了又会自动恢复运行状态。在调用sleep()方法的过程中,线程不会释放对象锁。 而当调用wait 阅读全文
posted @ 2019-11-12 19:50 玩转大数据 阅读(509) 评论(0) 推荐(0)
摘要: 1、wait()、notify/notifyAll() 方法是Object的本地final方法,无法被重写。 2、wait()使当前线程阻塞,前提是 必须先获得锁,一般配合synchronized 关键字使用,即,一般在synchronized 同步代码块里使用 wait()、notify/noti 阅读全文
posted @ 2019-11-12 19:44 玩转大数据 阅读(1835) 评论(0) 推荐(0)
摘要: 1、Partitioner 组件通过让 Map 对 Key 进行分区,从而将不同分区的 Key 交由不同的 Reduce 处理。Partition属于map端 2、分区的总数与任务的reduce任务数相同 partitioner定义: partitioner的作用是将mapper 输出的key/va 阅读全文
posted @ 2019-11-12 19:32 玩转大数据 阅读(1395) 评论(0) 推荐(0)
摘要: 源代码public class MainDemo { public static void main(String[] args) { Integer a[] = {3, 2, 1, 4, 5, 6, 7, 1}; //递归调用 QuickSort(a, 0, a.length-1); System 阅读全文
posted @ 2019-11-11 21:36 玩转大数据 阅读(1489) 评论(0) 推荐(0)
摘要: Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流 阅读全文
posted @ 2019-11-11 20:57 玩转大数据 阅读(344) 评论(0) 推荐(0)
摘要: Java 中的 8 种基本数据类型,以及它们的占内存的容量大小和表示的范围,如下图所示: 重新温故了下原始数据类型,现在来解释下它们之间的转换关系。 自动类型转换 自动类型转换是指:数字表示范围小的数据类型可以自动转换成范围大的数据类型。 如: long l = 100; int i = 200; 阅读全文
posted @ 2019-11-11 15:33 玩转大数据 阅读(372) 评论(0) 推荐(0)
摘要: 查看防火墙状态:firewall-cmd --state 停止firewall:systemctl stop firewalld.service 禁止firewall开机启动:systemctl disable firewalld.service 阅读全文
posted @ 2019-11-08 14:22 玩转大数据 阅读(220) 评论(0) 推荐(0)