2023年10月16日
Hadoop集群升级带来的ORC文件问题与Python脚本推送Hive到StarRocks
摘要： 1、问题分析 在Hadoop集群升级后，用户可能会注意到生成的ORC文件中的列名不再是抽象的"_col0"、"_col1"等，而是实际的列名。这一变化是ORC文件格式的新版本引入的。这对于数据理解和查询来说是一大进步，但可能会导致一些问题，比如我们可能会遇到类似以下的错误消息： msg:OrcMap 阅读全文
posted @ 2023-10-16 17:53 LUDAGOGO 阅读(187) 评论(0) 推荐(0)
提升数据服务API性能：解析SQL时间占比优化与缓存机制的应用
摘要： 这篇文章中，我们将探讨如何提升数据服务API的性能，特别关注于解析SQL时间占比的优化以及引入缓存机制来优化代码。在我们的分析中，我们发现解析SQL占据了大部分时间，因此我们将重点关注这个方面的优化。 1、问题分析 数据服务api之前做过压测，从火焰图分析 解析SQL时间占比比较大，为了提高性能，我 阅读全文
posted @ 2023-10-16 15:30 LUDAGOGO 阅读(59) 评论(0) 推荐(0)