ludaGOGO

摘要： 问题： @ConfigurationProperties配置的类DatacenterDingTalkConfig，读取Apollo配置文件，部分字段值读取不到，只能读到webHook @Data @Configuration @ConfigurationProperties(prefix = "da 阅读全文

摘要： 使用Python脚本把hive库表数据导入到StarRocks 问题： 原因分析： 因为原表的分区字段是多个，所以hdfs路径和单dt的不一样，文件如下图所示： 所以执行下边的信息可以看到数据是空的，导致任务报错。 query load state cmd: show load from bigda 阅读全文

摘要： 问题： insert overwrite es_hive_table select * from hive_table ,这样的语句，es_hive_table是hive外表关联了es 配置，hive_table的id= 1 的db_topic更新了，为什么es_hive_table 表中id= 1 阅读全文

摘要： 1、hive表存储格式介绍 文本文件（Text File）：文本文件是Hadoop最基本的存储格式，以文本形式存储数据，每行记录都是一个文本字符串。优势是易于理解和处理，适用于简单的数据分析任务。 列式存储（Columnar Storage）：列式存储将每个列的数据存储在一起，相同列的数据连续存储。 阅读全文

摘要： 背景描述 Python脚本读取hive库表文件，通过Broker Load把数据导入starrocks 问题描述 表etl_deploy_table是几个表通过ETL union之后输出的表，当我使用Python脚本把此表数据导入starrocks时报错如下： load failed!!! erro 阅读全文

摘要： 问题： presto查询的Hive表，发现 ：增量表的查询时间区间取的是数仓表的分区dt，取最大和最小dt的时候，Trino会全表扫描hive表，无效计算而且特别慢。 全量表的话，每天的分区里都是分区当天及以前的数据；查询默认限定在最新的分区。 增量表的话每天的分区只有分区当天的数据；查询要根据时间 阅读全文

摘要： 了解hive内表与外表并应用 1、内外表基础介绍 Hive是建立在Hadoop之上的数据仓库工具，它提供了类似于SQL的查询语言（HiveQL），可以方便地进行数据分析和处理。在Hive中，你可以创建内部表（Internal Table）和外部表（External Table）来管理数据。下面是内部 阅读全文

摘要： 1、进入到/hadoop-3.2.1/sbin，执行 ./start-all.sh start 启动成功如上图所示。 2、可以使用以下命令来检查Hadoop服务是否正在运行： 检查Hadoop NameNode，如果输出结果中包含“NameNode”，那么说明NameNode正在运行。 jps | 阅读全文

摘要： 1、出图大法 魔咒百科词典 （By bilibili 波西BrackRat） 2、样例使用 文字描述第一区 ►Prompt 第一行 (masterpiece:1.0), (best quality:1.0), (ultra highres:1.0) ,(8k resolution:1.0),(rea 阅读全文

摘要： 准备工作 提前安装git. python等必要工具 1、git拉取Web UI仓库 git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui 2、下载Stable Diffusion Models https://huggin 阅读全文