随笔分类 -  大数据

摘要：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"。 Tez是Apache开源的支持DAG作业的计算框架，它直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分，即Map被拆分成Input、Pro 阅读全文

摘要：启动ZK集群，内容如下所示： zkServer.sh start 注意：分别在ZK的节点上启动。 启动Kafka集群 kafka-server-start.sh config/server.properties & 在其他的Kafka节点输入同样的命令，完成启动。 启动Kafka监控工具 1 2 3 阅读全文

摘要：不跟hadoop在一个机器 1、vim /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_171export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_ 阅读全文