lenmom

摘要： 1. 下载sqoop1.4.7 2. 配置sqoop 添加以下内容 3. 配置环境变量 添加以下内容 执行source /etc/profile 让环境变量生效 4. 将mysql驱动包mysql-connector-java-5.1.47.jar 拷贝到sqoop/lib 目录下 jar包可以到m 阅读全文

摘要： 1. hive_metastore.ini 2. start-metastore.sh 3.. hive_server2.ini 4. start-hiveserver2.sh 阅读全文

摘要： Doris默认端口 Yarn 默认端口： 如图，端口冲突，在混合部署的情况下，会出现2个问题： 1. Yarn ResourceManager启动不起来 解决办法：修改yarn.resourcemanager.scheduler.address的端口，具体做法为： 添加或修改（如果已经配置了yarn 阅读全文

摘要： Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。 这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK 阅读全文

摘要： 在生产环境中使用Hive，强烈建议使用HiveServer2来提供服务，好处有: 在应用端不用部署Hadoop和Hive客户端； 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户； 有安全认证机制，并且支持自定义权限校验； 有HA机制，解决应用端的并发 阅读全文

摘要： https://www.cnblogs.com/starof/p/4680083.html https://www.jianshu.com/p/c0b7a2b1f981 https://www.cnblogs.com/sunny18/p/10244263.html https://blog.csdn 阅读全文

摘要： 1. 安装hadoop 详细请参见本人的另外一片博文《Hadoop 2.7.3 分布式集群安装》 2. 下载hive 2.3.4 解压文件到/opt/software 3. 配置hive环境变量: 在文件末尾添加: 在本人机器上之前已经配置好了hadoop和jdk 4. 配置hive配置文件 修改以 阅读全文

摘要： mysql 5.7支持的最高版本是Ubuntu17 ，即使安装成功后，也会出现各种妖蛾子，本人就被这种问题困扰了好一会。在Ubuntu 18.04下安装mysql，建议安装8.0以上版本！ 1. 配置apt source 下载mysql-apt-config_0.8.11-1_all.deb 2. 阅读全文

摘要： mysql 数据库脚本为： /* */ /* DBMS name: MySQL 5.0 */ /* Created on: 2018/11/23 1:09:10 */ /* */ DROP DATABASE IF EXISTS mysql_sales_source; CREATE DATABASE 阅读全文

摘要： 1 背景： 随着公司业务的成长,数据量也随之的不断增长。随之而来的问题是在做ETL的时候,时间花费也越来越长。为了节省时间开销,我们只想要更新最新的数据,不想要把公司历年所有的数据都进行处理。这种情况就被称为变更数据捕获(Change Data Capture,又名CDC)。在SQLServer20 阅读全文