ludaGOGO

摘要： docker es 1、docker拉取镜像，并启动 启动成功如下图： 2、Kibana使用docker启动 # 临时启动 docker run --name kibana -d -p 5601:5601 kibana:7.12.1 # 宿主机 创建一个 用于存储kibana config文件夹 m 阅读全文

摘要： 1、Hive catalog Hive Catalog 是一种 External Catalog。通过 Hive Catalog，您不需要执行数据导入就可以直接查询 Apache Hive™ 里的数据。此外，您还可以基于 Hive Catalog ，结合 INSERT INTO 能力来实现数据转换和 阅读全文

摘要： 简介 StringTemplate是一个用于文本生成的模板引擎，它允许你将文本模板与数据合并以生成最终的文本输出。它通常用于生成文本文件、报告、代码和其他需要将数据插入模板的应用程序中。 官方文档：https://github.com/antlr/stringtemplate4/blob/maste 阅读全文

摘要： 1、问题分析 在Hadoop集群升级后，用户可能会注意到生成的ORC文件中的列名不再是抽象的"_col0"、"_col1"等，而是实际的列名。这一变化是ORC文件格式的新版本引入的。这对于数据理解和查询来说是一大进步，但可能会导致一些问题，比如我们可能会遇到类似以下的错误消息： msg:OrcMap 阅读全文

摘要： 这篇文章中，我们将探讨如何提升数据服务API的性能，特别关注于解析SQL时间占比的优化以及引入缓存机制来优化代码。在我们的分析中，我们发现解析SQL占据了大部分时间，因此我们将重点关注这个方面的优化。 1、问题分析 数据服务api之前做过压测，从火焰图分析 解析SQL时间占比比较大，为了提高性能，我 阅读全文

摘要： 1： vi ~/.bash_profile # mysql export PATH=$PATH:/usr/local/mysql/bin 2：保存 3：source ~/.bash_profile 4：msyql --version mysql -hyour_ip -P3306 -uroot -p 阅读全文

摘要： 1、问题 测试环境数据库表，要更新一个字段值，一个不小心忘记加where条件了，结果全表更新了数据，导致测试环境业务系统不可用。 select * from table_name where id =3083; update table_name set unique_code = 16438201 阅读全文

摘要： 1、问题 因业务需求，同一个springboot项目需要消费不同的kafka集群，那么该如何配置和开发呢？ 2、主要技术点实现 KafkaListenerContainerFactory<> 加入不同的kafka集群配置。其中bootstrap.servers ，group.id可以分别配置 @Co 阅读全文

摘要： 1、Python2 Python3 base64.b64encode()差异 import base64 import json pwd = 'pwdxx' #python2写法 pwd_base64 = base64.b64encode(pwd) datas = json.dumps({"doma 阅读全文

摘要： 1、验证Hive是否正确安装并设置了正确的环境变量，可以按照以下步骤进行操作： 打开终端：打开Linux终端，以便在命令行中执行相应的操作。 检查Hive安装目录：首先，请确认Hive的安装目录。通常情况下，Hive会被安装在类似于/usr/local/hive或/opt/hive的路径下。你可以使 阅读全文