摘要： DataX3.0离线同步工具介绍 一. DataX3.0概览 ​DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 （这是一个单机多任务的ETL工具） 下载地 阅读全文

摘要： Consul是什么 Consul是一个服务网格（微服务间的 TCP/IP，负责服务之间的网络调用、限流、熔断和监控）解决方案，它是一个一个分布式的，高度可用的系统，而且开发使用都很简便。它提供了一个功能齐全的控制平面，主要特点是：服务发现、健康检查、键值存储、安全服务通信、多数据中心。 安装Cons 阅读全文

摘要： etcd简介 etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法，etcd基于Go语言实现。 etcd作为服务发现系统，有以下的特点： 简单：安装配置简单，而且提供了HTTP API进 阅读全文

摘要： 负载均衡算法 阅读全文

摘要： 类似错误信息： 2020-08-21 15:30:28,713 INFO mapreduce.Job: Task Id : attempt_1596166140899_0045_m_000004_2, Status : FAILED[2020-08-21 15:30:29.974]Container 阅读全文

摘要： HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory} 阅读全文

摘要： 一. Windows10环境下安装 1. 下载安装JDK1.8，并配置环境变量，注意：JAVA_HOME环境变量配置的路径不要包含空格，C盘中的Program Files目录名称可用PROGRA~1代替即 2. 下载Hadoop镜像安装文件，下载地址：镜像文件 3. 解压Hadoop镜像文件到磁盘目 阅读全文

摘要： HBase 和 Hive 的差别是什么，各自适用在什么场景中？ 结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。 一、区别： Hbase： Hadoop database 的简称，也就是基于Hadoop数据 阅读全文

摘要： 准备：1. 规划3个集群节点: hosts主机都已经配置好映射，映射主机名分别为master,slave1,slave2, 且已经进行ssh免密配置，确保端口互通，防火墙关闭 2. 先安装好scala(参考：https://www.cnblogs.com/sea520/p/13518158.html 阅读全文

摘要： 准备：1. 规划3个集群节点: hosts主机都已经配置好映射，映射主机名分别为master,slave1,slave2, 且已经进行ssh免密配置，确保端口互通，防火墙关闭 2. 先安装好scala(参考：https://www.cnblogs.com/sea520/p/13518158.html 阅读全文