leon0

摘要： 关于HBase环境搭建和HBase的原理架构，请见笔者相关博客。 1.HBase对java有着较优秀的支持，本文将介绍如何使用java操作Hbase。 首先是pom依赖： <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hba 阅读全文

摘要： ProducerConsumerBrokerTopicPartitionConsumer Group分布式 Broker Kafka集群包含一个或多个服务器，这种服务器被称为brokerTopic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic（物理上不同Topic的消息分开存 阅读全文

摘要： 本文会主要讲三种udf： ScalarFunction TableFunction AggregateFunction 用户自定义函数是非常重要的一个特征，因为他极大地扩展了查询的表达能力。本文除了介绍这三种udf之外，最后会介绍一个redis作为交互数据源的udf案例。 注册用户自定义函数 在大多 阅读全文

摘要： 转自：https://blog.csdn.net/xianpanjia4616/article/details/86375224 最少一次：断了之后 重新执行 再去重 严格一次：根据检查点，再执行一次 Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?比如我们在平时 阅读全文

摘要： 重点： ETL 优化多数在于表输入和表输出。 转自： https://blog.csdn.net/qq_37124304 https://blog.csdn.net/qq_37124304/article/details/82664665 由于Kettle提高表输出写入速度太低，每秒速度三四十，实在 阅读全文

摘要： 问题及说明： 当一个SQL事务执行完了，但未COMMIT，后面的SQL想要执行就是被锁，超时结束；报错信息如下： 处理步骤： 该问题发生环境为MySQL 5.6，在MySQL 5.5版本后，information_schema 库中增加了三个关于锁的表，分别如下： innodb_trx：当前运行的所 阅读全文

摘要： 1、现状：上线新项目，导致api服务延迟，cpu正常，内存正常，连接数正常，sql性能正常，sql进程正常（初步分析） 最后再次分析sql进程才发现 由于该 truncate table name ; 语句为实时执行，导致其余进程出现时间延长。影响api调用，及整个库的使用 2、处理办法： a、查询 阅读全文

摘要： 通过show processlist查看MySQL的进程状态，在State列上面的状态有如下这些： Analyzing线程对MyISAM 表的统计信息做分析(例如, ANALYZE TABLE )。checking permissions线程检查服务器是否具有所需的权限来执行该语句。Checking 阅读全文

摘要： 转自：http://www.sohu.com/a/142553677_804130 引言 随着大数据时代的来临，大数据产品层出不穷。我们最近也对一款业内非常火的大数据产品 - Apache Flink做了调研，今天与大家分享一下。Apache Flink(以下简称flink) 是一个旨在提供‘一站式 阅读全文

摘要： 关于Python 脚本如何执行另一个脚本，可以使用os.system()来实现 os.system()的参数： 执行的命令 +执行的内容 举例说明： （1）显示当前文件夹下的全部目录和文件夹 os.system('dir') //dir 显示磁盘目录命令 （2）删除指定文件夹下的文件 os.syst 阅读全文