华为云新鲜技术分享 - 随笔分类(第33页) - 华为云开发者联盟

华为云GaussDB践行数字化，护航证券保险高质量发展

摘要：摘要：华为云数据库解决方案架构师章哲在由先进数通与华为联合开展的“7+1”系列银行业数字化转型实践交流活动上围绕华为云GaussDB多年来的技术探索和应用实践进行了分享。近日，由先进数通与华为联合开展的“7+1”系列银行业数字化转型实践交流活动北京站圆满落幕。活动汇聚金融科技先锋企业、金融行业专家阅读全文

posted @ 2023-04-03 15:45 华为云开发者联盟阅读(122) 评论(0) 推荐(0)

CANN训练：模型推理时数据预处理方法及归一化参数计算

摘要：摘要：在做基于Ascend CL模型推理时，通常使用的有OpenCV、AIPP、DVPP这三种方式，或者是它们的混合方式，本文比较了这三种方式的特点，并以Resnet50的pytorch模型为例，结合训练营提供的sample，说明了分别是如何实现预处理的。本文分享自华为云社区《【2023 · CA 阅读全文

posted @ 2023-04-03 15:29 华为云开发者联盟阅读(339) 评论(0) 推荐(0)

过亿云资源运维管控难？华为云CloudMap带你喝着咖啡做运维

摘要：摘要：华为云站点数字化平台CloudMap携手华为云图引擎GES打造云服务全栈拓扑，网络流量路径和云服务动态依赖等空间关系数据，支撑现网运行态风险识别和分钟级定位定界，构建业界领先的数字化能力。本文分享自华为云社区《构建站点数字孪生，支撑确定性运维：华为云九洲云图CloudMap》，作者：HWCl 阅读全文

posted @ 2023-03-31 11:39 华为云开发者联盟阅读(127) 评论(0) 推荐(0)

云原生容器高可用运维能力应用

摘要：摘要：华为云容器SRE在海量集群和容器运维实践中，从智能运维能力、确定性场景恢复等多方面总结出一套确定性运维实践，以应对云原生业务快速增长。本文分享自华为云社区《云原生容器高可用运维能力应用》，作者：陈勇/刘志超/袁文峰。云原生场景下，对架构高可用、应用高可用、基础云平台高可用提出了更高的要求，阅读全文

posted @ 2023-03-30 15:29 华为云开发者联盟阅读(146) 评论(0) 推荐(0)

数仓安全测试之SSRF漏洞

摘要：摘要：SSRF (Server-Side Request Forgery，服务器端请求伪造)是指由攻击者构造请求，然后利用服务器的漏洞以服务端的身份向内网发送请求对内网发起攻击。本文分享自华为云社区《GaussDB(DWS)安全测试之SSRF漏洞》，作者： ACBD。 1. 什么是SSRF漏洞 S 阅读全文

posted @ 2023-03-30 10:41 华为云开发者联盟阅读(230) 评论(0) 推荐(0)

拒绝“爆雷”！GaussDB(for MySQL)新上线了这个功能

摘要：摘要：智能把控大数据量查询，防患系统奔溃于未然。本文分享自华为云社区《拒绝“爆雷”！GaussDB(for MySQL)新上线了这个功能》，作者：GaussDB 数据库。什么是最大读取行一直以来，大数据量查询是数据库DBA们调优的重点，DBA们通常十八般武艺轮番上阵以期提升大数据查询的性能：例阅读全文

posted @ 2023-03-29 11:39 华为云开发者联盟阅读(255) 评论(0) 推荐(0)

云服务过载控制的前世今生

摘要：摘要：服务过载在云时代是必然存在的，如何解决与应对成为了云服务开发、运营与运维的关键要素，通过过载场景现象、基础过载控制等能力，来应对出现的服务/应用过载。本文分享自华为云社区《云服务过载控制的前世今生》，作者：SRE确定性运维。 1.为什么会有过载？过载，是服务或应用处理的请求超过了自身所能阅读全文

posted @ 2023-03-29 10:56 华为云开发者联盟阅读(118) 评论(0) 推荐(0)

从数仓发展史浅析数仓未来技术趋势

摘要：摘要：华为云EI DTSE技术布道师/华为云数仓GaussDB(DWS)首席架构师曾凯，针对数据仓库的起源、演进过程、未来技术发展趋势，与开发者和伙伴朋友们展开交流互动，帮助开发者快速了解数据仓库相关信息与能力。本文分享自华为云社区《直播回顾 | 从数仓发展史浅析数仓未来技术趋势》，作者：胡辣汤。阅读全文

posted @ 2023-03-28 11:33 华为云开发者联盟阅读(200) 评论(0) 推荐(0)

数仓如何进行表级控制analyze？

摘要：摘要：介绍如何设置采样大小和表级控制analyze。本文分享自华为云社区《GaussDB(DWS) 如何表级控制analyze》，作者：leapdb。一、控制采样大小【设置全局采样大小】通过参数default_statistics_target设置全局默认采样大小。 a.default_s 阅读全文

posted @ 2023-03-28 11:09 华为云开发者联盟阅读(174) 评论(0) 推荐(0)

内核不中断前提下，Gaussdb（DWS）内存报错排查方法

摘要：摘要：本文主要讲解如何在内核保证操作不能中断采取的特殊处理，理论上用户执行的sql使用的内存（dynamic_used_memory）是不会大范围的超过max_dynamic_memory的内存的本文分享自华为云社区《Gaussdb（DWS）内存报错排查方法》，作者： fighttingman。阅读全文

posted @ 2023-03-27 15:42 华为云开发者联盟阅读(554) 评论(0) 推荐(0)

自动调优工具AOE，让你的模型在昇腾平台上高效运行

摘要：摘要：当算子性能或者网络性能不佳时，可以使用AOE进行调优。本文就带大家了解自动调优工具AOE，让你的模型在昇腾平台上高效运行。本文分享自华为云社区《自动调优工具AOE，让你的模型在昇腾平台上高效运行》，作者：昇腾CANN 。什么是AOE？ AOE（Ascend Optimization Eng 阅读全文

posted @ 2023-03-27 15:13 华为云开发者联盟阅读(139) 评论(0) 推荐(0)

选择KV数据库最重要的是什么

摘要：本文分享自华为云社区《选择KV数据库最重要的是什么？》，作者：GaussDB 数据库。经常有客户提到KV数据库，但却偏偏“不要Redis”。比如有个做安全威胁分析平台的客户，他们明确表示自己对可靠性要求非常高，需要的不是开源Redis这种内存缓存库，而是KV数据库。虽然最后我也没问清楚他们业务阅读全文

posted @ 2023-03-24 15:03 华为云开发者联盟阅读(378) 评论(0) 推荐(0)

动手实践开发一个智慧路灯控制器

摘要：本实验基于NB-IoT和WIFI实现智慧路灯案例，实现实时数据的采集，实现命令下发的响应，实现端云互通。阅读全文

posted @ 2023-03-24 11:10 华为云开发者联盟阅读(163) 评论(0) 推荐(0)

【数仓运维实践】关于GaussDB(DWS)单SQL磁盘空间管控

摘要：摘要：本文主要讲解数仓运维中遇到单SQL磁盘空间管控问题的解析和方案。本文分享自华为云社区《GaussDB(DWS)运维 -- 单SQL磁盘空间管控》，作者：譡里个檔。【问题描述】执行部分SQL语句时出现如下报错信息(具体数值可能因为配置有差异)，本文针对根因和场景触发场景，确定触发此类问题阅读全文

posted @ 2023-03-23 11:28 华为云开发者联盟阅读(294) 评论(0) 推荐(0)

BugBuilder: 高质量大规模缺陷库自动构建方法

摘要：摘要：本文提出并开发了高质量大规模缺陷库全自动构建方法BugBuilder，自动从版本控制系统中的人为编写的补丁中提取完整且精准的缺陷修复补丁。本文分享自华为云社区《BugBuilder: 高质量大规模缺陷库自动构建方法》，作者：华为云软件分析Lab 。 1. 问题场景由于各种原因，例如错误定位阅读全文

posted @ 2023-03-22 15:24 华为云开发者联盟阅读(93) 评论(0) 推荐(0)

论文分享丨Holistic Evaluation of Language Models

摘要：摘要：该文为大模型评估方向的综述论文。本文分享自华为云社区《【论文分享】《Holistic Evaluation of Language Models》》，作者：DevAI。大模型（LLM）已经成为了大多数语言相关的技术的基石，然而大模型的能力、限制、风险还没有被大家完整地认识。该文为大模型评估阅读全文

posted @ 2023-03-22 11:36 华为云开发者联盟阅读(108) 评论(0) 推荐(0)

GaussDB(DWS)运维：导致SQL执行不下推的改写方案

摘要：摘要：本文就针对因USING子句的书写方式可能导致MERGE INTO语句的执行不下推的场景，对USING子句的SQL语句进行改写一遍，整个SQL语句可以下推。本文分享自华为云社区《GaussDB(DWS)运维 -- values子句做MERGE数据源导致SQL执行不下推的改写方案》，作者：譡里阅读全文

posted @ 2023-03-21 15:28 华为云开发者联盟阅读(216) 评论(0) 推荐(0)

Ascend CL两种数据预处理的方式：AIPP和DVPP

摘要：摘要：本文介绍了昇腾CANN提供的两种数据预处理的方式：DVPP和AIPP，介绍了两者的功能、差别及联系，并以具体代码示例介绍了如何使用DVPP和AIPP的功能。本文分享自华为云社区《了解AscendCL数据预处理的两种方式：AIPP和DVPP》，作者：昇腾CANN。数据预处理的典型使用场景受阅读全文

posted @ 2023-03-20 17:33 华为云开发者联盟阅读(273) 评论(0) 推荐(0)

浅谈DWS函数出参方式

摘要：摘要：DWS的PL/pgSQL函数/存储过程中有一个特殊的语法PERFORM语法，用于执行语句但是丢弃执行结果的场景，常用于一些状态判断的场景。本文分享自华为云社区《GassDB(DWS)功能 -- 函数出参 #【玩转PB级数仓GaussDB(DWS)】》，作者：譡里个檔。 DWS的PL/pgSQ 阅读全文

posted @ 2023-03-17 15:19 华为云开发者联盟阅读(93) 评论(0) 推荐(0)

带你掌握如何查看并读懂昇腾平台的应用日志

摘要：摘要：本文介绍了昇腾平台日志分类、日志级别设置、日志内容格式，以及如何获取日志文件的方法。本文分享自华为云社区《如何查看并读懂昇腾平台的应用日志》，作者：昇腾CANN。当您完成训练/推理工程开发后，将工程放到昇腾平台运行，以调试工程是否正常运行，此时，可能会出现各种各样、五花八门的异常状况。当阅读全文

posted @ 2023-03-16 16:00 华为云开发者联盟阅读(329) 评论(0) 推荐(1)

随笔分类 - 华为云新鲜技术分享

公告