life_start - 博客园

2022年9月29日

该文被密码保护。阅读全文

posted @ 2022-09-29 16:48 life_start 阅读(0) 评论(0) 推荐(0)

2022年9月21日

摘要： Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。元数据也可以是持久化的，例如 Hive Metastore 阅读全文

posted @ 2022-09-21 16:00 life_start 阅读(271) 评论(0) 推荐(0)

JAVA诊断工具

摘要：简介 Arthas 是一款线上监控诊断产品，通过全局视角实时查看应用 load、内存、gc、线程的状态信息，并能在不修改应用代码的情况下，对业务问题进行诊断，包括查看方法调用的出入参、异常，监测方法执行耗时，类加载信息等，大大提升线上问题排查效率。 #Arthas（阿尔萨斯）能为你做什么？ Arth 阅读全文

posted @ 2022-09-21 11:03 life_start 阅读(90) 评论(0) 推荐(0)

2022年9月15日

Flink系列--Flink jdbc connector源码走读

摘要： Connector扩展说明实现一个新的connector用户需要做的事情在上图中Planning部分，其中根据source还是sink来决定实现DynamicTableSourceFactory还是DynamicTableSinkFactory，也可以同时实现这两个接口。以下针对JdbcDyna 阅读全文

posted @ 2022-09-15 17:17 life_start 阅读(1521) 评论(0) 推荐(1)

2021年5月20日

服务设计-ETL-核心框架

摘要： ETL工具开发目标是一款通用数据迁移工具，可扩充迁移的源数据类型，同时可以扩充目标端存储类型，是一款可以不断扩展功能的、通用的数据迁移工具。工具具有数据映射过滤、默认值等插件可配置使用；提供业务处理插件接口，可供定制化业务处理；对大量数据进行分批迁移的功能；批量任务迁移时支持断点续传功能等。 3. 阅读全文

posted @ 2021-05-20 16:15 life_start 阅读(1175) 评论(0) 推荐(0)

zookeeper-服务-应用

摘要：使用zookeeper搭建分布式应用服务一背景传统的应用是部署在单台服务器上的，随着业务的扩大，单机引用变得越来越难以满足使用要求。通常应用部署在单台服务器上面临的第一个问题是，随着业务的扩大，更多的用户使用应用服务，服务的性能、存储会面临很大挑战。对于一个对性能要求很高的业务应用，增大带宽、阅读全文

posted @ 2021-05-20 16:07 life_start 阅读(120) 评论(0) 推荐(0)

2021年5月11日

HBASE-表设计-优化

摘要： 1、开启布隆过滤器布隆过滤器用于判断一个元素是否在集合中有一定的误判率和删除困难如果使用布隆过滤器判断一个元素在集合中，那它可能不在但如果判断一个元素不在集合中，那它肯定不在布隆过滤器［1］（Bloom Filter）是由布隆（Burton Howard Bloom）在1970年提出的。它阅读全文

posted @ 2021-05-11 16:38 life_start 阅读(284) 评论(0) 推荐(0)

HBASE-读取数据-优化

摘要： 1、设置scan缓存 scan.setCaching(1000); 定义一次交互从服务端传输到客户端的行数 2、显示的指定列 scan.addColumn(cf,column) 只获取需要的列，减少传输的数据量，减少IO的消耗 3、使用完resultScanner后关闭，否则可能出现一段时间内服务端阅读全文

posted @ 2021-05-11 16:35 life_start 阅读(278) 评论(0) 推荐(0)

HBASE-数据写入-优化

摘要： 1、关闭WAL日志在put数据api中关闭WAL 2、设置AutoFlush 3、预创建Region 4、延迟WAL刷新 5、通过HTablePool写入阅读全文

posted @ 2021-05-11 16:34 life_start 阅读(119) 评论(0) 推荐(0)

Zookeeper-客户端-zkclient-curator

摘要： zkclient Zookeeper客户端提供了基本的操作，比如，创建会话、创建节点、读取节点、更新数据、删除节点和检查节点是否存在等。但对于开发人员来说，Zookeeper提供的基本操纵还是有一些不足之处。本篇博客就聊聊这些不足之处和两款开源框架ZKClient和Curator。 Zookeepe 阅读全文

posted @ 2021-05-11 16:33 life_start 阅读(170) 评论(0) 推荐(0)