扰扰博客

随笔分类 -  大数据

大数据
摘要:在使用Presto的JDBC接口处理大量数据时,可能会遇到性能瓶颈或内存问题。这是因为JDBC通常会将查询结果一次性加载到客户端内存中,这在处理海量数据时可能会导致内存溢出或响应时间过长。以下是一些优化策略,可以帮助你更有效地处理大量数据: 1. 使用游标(Cursor) 对于大数据量的查询,最有效 阅读全文
posted @ 2025-05-14 11:11 扰扰 阅读(39) 评论(0) 推荐(0)
摘要:/** * fix antlr memory leak * @see <a href="https://github.com/antlr/antlr4/issues/499"> Memory Leak </a> * @author victorchu * @date 2022/8/8 11:29 * 阅读全文
posted @ 2024-08-16 11:01 扰扰 阅读(106) 评论(0) 推荐(0)
摘要:1、数据存储1.1、hive->hdfs、mapredus1.2、ClickHouse1.3、Elasticsearch1.4、PostgreSQL1.5、HBase 2、数据抽取2.1、Kettle2.2、DataX2.3、Canal2.4、Flink CDC2.5、Sqoop2.6、Filebe 阅读全文
posted @ 2024-08-08 09:36 扰扰 阅读(53) 评论(0) 推荐(0)