2019 年 8月随笔档案 - 大数据技术与数仓

Azkaban安装部署

摘要：我的博客https://jiamaoxiang.top/ Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在... 阅读全文

posted @ 2019-08-28 13:36 大数据技术与数仓阅读(145) 评论(0) 推荐(0)

摘要：如果我们想要查找多行记录，查询时间是否会成倍地提升呢？其实数据库会采用缓冲池的方式提升页(page)的查找效率。数据库的缓冲池... 阅读全文

posted @ 2019-08-23 14:23 大数据技术与数仓阅读(150) 评论(0) 推荐(0)

摘要：title: Flink的状态后端(State Backends) categories: Flink tags:flink da... 阅读全文

posted @ 2019-08-23 14:14 大数据技术与数仓阅读(569) 评论(0) 推荐(0)

Flink零基础入门系列

摘要：Apache Flink 零基础入门（一）：基础概念解析 Apache Flink 零基础入门（二）：开发环境搭建和应用的配置、部署及运行 Apache Flink 零基础入门（三）：DataStream API 编程 Apache Flink 零基础入门（四... 阅读全文

posted @ 2019-08-13 11:40 大数据技术与数仓阅读(181) 评论(0) 推荐(0)

Kafka压力测试

摘要：一、Kafka压测用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。使用的两个脚本为kafka-consumer-perf-test.sh和kafka-pr... 阅读全文

posted @ 2019-08-07 23:27 大数据技术与数仓阅读(1149) 评论(0) 推荐(0)

sqoop的Warning日志处理

posted @ 2019-08-07 15:42 大数据技术与数仓阅读(1025) 评论(0) 推荐(0)

摘要：问题描述： flink集群正常启动，但是提交作业之后会报错，再次刷新flink的web界面时，会显示：{"errors":["Could not retrieve the redirect address of the current leader. Plea... 阅读全文

posted @ 2019-08-06 15:07 大数据技术与数仓阅读(1462) 评论(0) 推荐(0)

摘要：问题描述：启动集群之后，taskmanager无法连接到/resourcemanager，报错为： 2019-08-06 13:38:54,733 INFO org.apache.flink.runtime.net.ConnectionUtils ... 阅读全文

posted @ 2019-08-06 13:52 大数据技术与数仓阅读(4275) 评论(0) 推荐(0)

摘要：sqoop报错： ERROR Could not register mbeans java.security.AccessControlException: access denied ("javax.management.MBeanTrustPermissi... 阅读全文

posted @ 2019-08-05 18:36 大数据技术与数仓阅读(1285) 评论(0) 推荐(0)

HDFS基准测试

摘要：1.测试HDFS写性能测试内容：向HDFS集群写10个128M的文件 $ hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient... 阅读全文

posted @ 2019-08-04 11:25 大数据技术与数仓阅读(268) 评论(0) 推荐(0)

摘要：1.导入语句注意：该语句未指定hive-table表的数据库名，所以会导入到默认的default数据库下。 sqoop import \--connect jdbc:mysql://192.168.10.203:3306/test?tinyInt1isBi... 阅读全文

posted @ 2019-08-02 19:12 大数据技术与数仓阅读(539) 评论(0) 推荐(0)

大数据技术与数仓