摘要: 一,引言 在实际的项目中,Azure Data Factroy 中的 Data Flow 并不能彻底帮我们完成一系列复制逻辑计算, 比如我们需要针对数据集的每一行数据进行判断计算,Data Flow 就显的有些吃力。别怕,Azure Data Factory 提供了调用 Azure Function 阅读全文
posted @ 2024-02-01 17:42 Grant_Allen 阅读(137) 评论(0) 推荐(1) 编辑
摘要: 一,引言 上一篇文字,我们初步对 Data Flow 有个简单的了解,也就是说可以使用 Data Flow 完成一些复杂的逻辑,如,数据计算,数据筛选,数据清洗,数据整合等操作,那我们今天就结合 Data Flow 中的常用数据转换逻辑拉演示在实际场景中如何实现。 Task1:将数据源的数据进行分组 阅读全文
posted @ 2024-01-11 22:23 Grant_Allen 阅读(166) 评论(0) 推荐(1) 编辑
摘要: 一,引言 随着大数据技术的不断发展,数据处理和分析变得越来越重要。为了满足企业对数据处理的需求,微软推出了 Azure Data Factory (ADF),它是一个云端的数据集成服务,用于创建、安排和管理数据工作流。在本文中,我们将重点介绍 Azure Data Factory 的数据流(Data 阅读全文
posted @ 2023-11-06 22:39 Grant_Allen 阅读(292) 评论(0) 推荐(1) 编辑
摘要: 一,引言 在本文中,我们将继续了解什么是 Azure Data Factory,Azure Data Factory 的工作原理,Azure Data Factory 数据工程中的数据管道,并了解继承运行时 IR。 我是分割线 1,Azure Data Factory(一)入门简介 2,Azure 阅读全文
posted @ 2023-09-25 14:26 Grant_Allen 阅读(389) 评论(0) 推荐(0) 编辑
摘要: 一,引言 如下图所示,今天我们接着上一篇内容,继续讲解 Azure Data Factory 中的数据集连接服务的认证方式:Service Principal 关于 Service Principal 的创建 可以参考:Azure AD(四)知识补充-服务主体 至于需要给 Service Princ 阅读全文
posted @ 2023-09-15 15:15 Grant_Allen 阅读(206) 评论(0) 推荐(1) 编辑
摘要: 一,引言 上一篇文章中,我们讲解了 Azure Data Factory 在设置数据集类型为 Dataverse 的时候,如何连接测试。今天我们继续讲解认证方式这一块内容,打开 Link Service 可以看到多种认证方式,由于上一届已演示了 Office365 的认证方式,那么今天就着重讲解一下 阅读全文
posted @ 2023-09-08 17:45 Grant_Allen 阅读(231) 评论(0) 推荐(1) 编辑
摘要: 一,引言 Azure 存储账户功能经过官方改进迭代后,在创建的时候,存储账户的类型被分为两大类: 1)general-purpose v2 account(标准常规用途v2) Blob 存储,队列存储,表存储,Azure File存储 2)Premium 1,Blob 存储:包含 块存储 & 追加存 阅读全文
posted @ 2023-08-30 10:53 Grant_Allen 阅读(276) 评论(0) 推荐(0) 编辑
摘要: 一,引言 之前有讲过 Azure Data Factory 的 Copy Data 的操作,演示了将 Blob Storage1 的数据通过 Azure Data Factory 复制到 Blob Storage2 中,今天我们玩一个不一样的,Azure Dataverse -》 Azure Dat 阅读全文
posted @ 2023-08-25 23:04 Grant_Allen 阅读(254) 评论(0) 推荐(0) 编辑
摘要: 一,引言 最近有网友私信我,将 Terraform 部署到 Azure 是一种将基础结构作为代码进行管理的好方法,但是如何使用 Azure Key Vault 来存储我们的 Secret ?在这篇博文中,我将给大家展示一下展示如何使用 Terraform 引用 Azure Key Vault Sec 阅读全文
posted @ 2023-08-07 16:47 Grant_Allen 阅读(231) 评论(0) 推荐(1) 编辑
摘要: 一,引言 结合前几篇文章,我们了解到 Azure Pipeline 完美的解决了持续集成,自动编译。同时也兼顾了 Sonarqube 作为代码扫描工具。接下来另外一个问题出现了,Azure DevOps 由于有人员限制,项目上不能给非开发人员或者外包成员开权限,这个时候就需要将编译好的程序包上传到公 阅读全文
posted @ 2023-05-05 16:52 Grant_Allen 阅读(517) 评论(0) 推荐(3) 编辑
摘要: 一,引言 对于今天所分析的 SonarQube,首先我们得了解什么是 SonarQube ? SonarQube 又能帮我们做什么?我们是否在项目开发的过程中遇到人为 Review 代码审核规范?带着以上问题,开始今天的分析内容吧 !!! 1)什么是 SonarQube ? SonarQube 是一 阅读全文
posted @ 2023-04-27 14:12 Grant_Allen 阅读(464) 评论(0) 推荐(3) 编辑
摘要: 一,引言 我们是否正在为如何快速的编译、部署客户端应用程序而烦恼?这也是博主最近遇到的问题。目前博主所在公司主要做项目级的定制化开发,多以 C/S 架构的 WPF 程序为主,每次到了协助开发团队给实施团队编译好的要测试程序包时,就会出现多人协助,编译、打包好的二进制程序包 pull 最新代码 ,以及 阅读全文
posted @ 2023-04-19 22:53 Grant_Allen 阅读(425) 评论(0) 推荐(5) 编辑
摘要: 一,引言 一,引言 我们是否正在为部署在云主机上的应用程序性能缓慢和停机问题而苦恼?我们是否正在因为云主机上仅仅部署了应用程序,在流量平缓的时候而浪费大量的计算资源而心疼荷包。那么让我们来一起看看 Azure Web App Plan 吧!今天我们以 IAC 的方式来控制资源的创建,通过使用 Ter 阅读全文
posted @ 2023-04-04 10:59 Grant_Allen 阅读(176) 评论(0) 推荐(2) 编辑
摘要: 一,引言 本篇文章中,我门将学习如何利用 Terraform 将 文件以及文件夹上传到 Azure Blob Storage,这个对于我们来说很方便,可以将一些不重要的内容也存储在源代码管理工具中! 开始今天的内容之前,我们先来看看今天的主角 Terraform fileset Function 根 阅读全文
posted @ 2023-01-31 15:38 Grant_Allen 阅读(339) 评论(1) 推荐(4) 编辑
摘要: 一,引言 今天我们继续讲解 Azure DevOps Server 的内容,对于管理用户组除了在 Azure DevOps Server 服务器上添加管理员方式外,还有没有其他方式,Azure DevOps 需要加入Azure ADDS 服务域后,Azure DevOps Server 的管理员组是 阅读全文
posted @ 2022-11-26 11:02 Grant_Allen 阅读(440) 评论(0) 推荐(3) 编辑
摘要: 一,引言 Azure DevOps Server 搭建完成后,关于如何进行项目管理,项目成员管理等,我们接着上一篇文章,继续讲解 Azure DevOps Server 的用户,用户组。首先,我们需要明白 Azure DevOps Server 有哪些登录方式 1)Azure DevOps Serv 阅读全文
posted @ 2022-11-11 23:39 Grant_Allen 阅读(993) 评论(0) 推荐(1) 编辑
摘要: 一,引言 最近一段时间,公司希望在自己的服务器上安装本地版的 Azure DevOps Service(Azure DevOps Server),用于项目内的测试,学习。本着学习的目的,我也就开始学习在测试服务器上安装 Azure DevOps Server 2022 Express 以及测试的 D 阅读全文
posted @ 2022-11-01 22:59 Grant_Allen 阅读(1741) 评论(0) 推荐(0) 编辑
摘要: 思路浅析 在我们分享的 Azure Terraform 系列文中有介绍到关于 Terraform 的状态文件远程存储的问题,我们在 Azure DevOps Pipeline 的 Task Job 加 azure_cli_script 执行内联脚本(该脚本帮我们创建好 Terraform 状态文件存 阅读全文
posted @ 2022-04-28 18:53 Grant_Allen 阅读(542) 评论(0) 推荐(2) 编辑
摘要: 一,引言 Azure 虚拟创面是一项 Azure 服务,可以让我们管理: 1)VDI(虚拟桌面基础架构) 2)云端的 RDSH:RDSH 是 RDS(远程桌面服务)中的一个角色。这些类型的服务器用于托管用户远程访问的 Windows 桌面或应用程序。 为此我们可以通过使用 Azure Virtual 阅读全文
posted @ 2022-04-10 21:26 Grant_Allen 阅读(1019) 评论(0) 推荐(0) 编辑
摘要: 一,引言 容器技术正日益成为打包、部署应用程序的第一选择。Azure 提供了许多使用容器的选项。例如,我们可以使用 Azure 容器注册表来存储和管理 Docker Images。Azure Container Instance 或 Azure 应用服务可用于运行隔离容器。对于需要完整容器编排、自动 阅读全文
posted @ 2022-03-20 00:04 Grant_Allen 阅读(689) 评论(0) 推荐(0) 编辑