大数据技术与数仓

摘要： Apache Flink 零基础入门（一）：基础概念解析 Apache Flink 零基础入门（二）：开发环境搭建和应用的配置、部署及运行 Apache Flink 零基础入门（三）：DataStream API 编程 Apache Flink 零基础入门（四... 阅读全文

摘要： 一、Kafka压测 用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 使用的两个脚本为kafka-consumer-perf-test.sh和kafka-pr... 阅读全文

摘要： 版权声明：本文为博主原创文章，未经博主允许不得转载 启动Sqoop作业时会出现下面的警告信息： Warning: /opt/modules/sqoop-1.4.7.bin__hadoop-2.6.0/../hcatalog does not exist! H... 阅读全文

摘要： 问题描述： flink集群正常启动，但是提交作业之后会报错，再次刷新flink的web界面时，会显示：{"errors":["Could not retrieve the redirect address of the current leader. Plea... 阅读全文

摘要： 问题描述： 启动集群之后，taskmanager无法连接到/resourcemanager，报错为： 2019-08-06 13:38:54,733 INFO org.apache.flink.runtime.net.ConnectionUtils ... 阅读全文

摘要： sqoop报错： ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermissi... 阅读全文

摘要： 1.测试HDFS写性能 测试内容：向HDFS集群写10个128M的文件 $ hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient... 阅读全文

摘要： 1.导入语句 注意：该语句未指定hive-table表的数据库名，所以会导入到默认的default数据库下。 sqoop import \--connect jdbc:mysql://192.168.10.203:3306/test?tinyInt1isBi... 阅读全文

摘要： 错误1：Mysql数据库的tinyint(1)的字段(取值为0和1)，Sqoop会将tinyint(1)的字段视为booleans类型，导入到Hive时会将其转化为true或者false，这是因为默认情况下，mysql jdbc connector(连接器)将... 阅读全文

摘要： 解决方法： 修改hive的元数据信息，进入hive的元数据库，以mysql为例，执行下面的命令： //修改表字段注解和表注解 alter table COLUMNS_V2 modify column COMMENT varcha... 阅读全文