随笔分类 - 大数据
大数据
摘要:在使用Presto的JDBC接口处理大量数据时,可能会遇到性能瓶颈或内存问题。这是因为JDBC通常会将查询结果一次性加载到客户端内存中,这在处理海量数据时可能会导致内存溢出或响应时间过长。以下是一些优化策略,可以帮助你更有效地处理大量数据: 1. 使用游标(Cursor) 对于大数据量的查询,最有效
阅读全文
摘要:/** * fix antlr memory leak * @see <a href="https://github.com/antlr/antlr4/issues/499"> Memory Leak </a> * @author victorchu * @date 2022/8/8 11:29 *
阅读全文
摘要:1、数据存储1.1、hive->hdfs、mapredus1.2、ClickHouse1.3、Elasticsearch1.4、PostgreSQL1.5、HBase 2、数据抽取2.1、Kettle2.2、DataX2.3、Canal2.4、Flink CDC2.5、Sqoop2.6、Filebe
阅读全文


浙公网安备 33010602011771号