悦光阴

摘要： 拼接不会改变数组的维度，而堆叠会增加新的轴。 一，拼接 如果要把两份数据组合到一起，需要拼接操作。 numpy.concatenate((a1, a2, ...), axis=0, out=None) 参数axis默认值是0，标识按照行来拼接，如果设置为None，那么所有的数组将展开为一维，并拼接在 阅读全文

摘要： 通用函数（universal function）通常叫作ufunc，它对数组中的各个元素逐一进行操作。这表明，通用函数分别处理输入数组的每个元素，生成的结果组成一个新的输出数组。输出数组的大小跟输入数组相同。 一元通用函数： abs：计算绝对值 sqrt：计算平方根 square：计算平方 exp： 阅读全文

摘要： 一个数组的形状是由每个轴的元素数量决定的，可以通过reshape()和resize()函数来操纵数组的形状。transpose()函数用于数组的转置，ravel()函数用于把数组展开为一维数组，而flatten()用于获得数组展开之后的一个副本；swapaxes()函数用于交换数组的两个轴，sque 阅读全文

摘要： NumPy是Python中用于科学计算的基础软件包，专门用于处理矩阵，数据类型是数值型的，用于对数值数据进行快速的计算。因此，numpy支持的数据类型非常精细，但是numpy不支持精确小数。 在导入numpy模块时，通常把numpy模块重命名为np： import numpy as np 一，num 阅读全文

摘要： 本文总结了在工作中用过的脚本 1，列出folder中的所有文件 %python display(dbutils.fs.ls("dbfs:/mnt/folder/")) 2，改变表的列 由于Azure Databricks不支持修改列，所以可以通过把数据表重命名，然后创建一个同名的表来实现列的改变 % 阅读全文

摘要： bool（也叫逻辑值）有True和False，用于表示真或假。True和False是预先定义的关键字，在内部，True和False是bool的实例，实际上仅仅是内置的整数类型int的子类。True和False的行为跟整数1和0是相同的。 有些值是unknown的，用None来表示。 一，布尔类型 b 阅读全文

摘要： Python的对象分为变量和常量，常量的值是字面意思，其值是不可变的；变量的值是可变的，例如，123，"上海"是常量，而a=1，a=2，其中a是变量名。内置的核心数据类型有：数字、字符串、列表（list）、字典（dictionary）、元组（tuple）、文件、集合（set）、None和布尔（boo 阅读全文

摘要： 在Python语言中，浮点数是有精度的，通常有精度缺失，这是由于浮点数是使用2进制进行计算的，如下所示： >>> print(0.3 - 0.2) >>> print(0.3 - 0.2 == 0.1) 0.09999999999999998 False 让我们考虑十进制的 1 / 3 是 0.33 阅读全文

摘要： Databricks 集成了命令行，比如 %run，允许用户在一个Notebook中去执行指定的notebook，当运行 %run时，被调用的notebook会立即执行。 %run <notebook_path_name> %run命令相当于Python语言中的import语句，在被调用notebo 阅读全文

摘要： 向量化表示对数组进行向量化操作，apply表示在某一个维度上应用函数，而栅格用于生产网格化数据。 一，vectorize 向量化 numpy.vectorize()函数定义一个向量化函数，它以序列或numpy数组作为输入，对numpy数组做向量化操作。函数输出的数据类型是由otypes参数确定的，如 阅读全文

摘要： 在PowerBI 报表中，常规的Tooltip是一段文本，当光标悬停在Visual上，Visual上方会自动显示Tooltip的文本。PowerBI 支持用户自定义内容丰富的Tooltip，用户通过创建一个Report Page，在Page上插入文本、图片和图表等，并把该Page设置为Tooltip 阅读全文

摘要： PowerBI可以通过RLS(Row-level security)限制用户对数据的访问，过滤器在行级别限制数据的访问，用户可以在角色中定义过滤器，通过角色来限制数据的访问。在PowerBI Service中，workspace中的member能够访问Workspace中的Dataset，RLS不会 阅读全文

摘要： 使用PowerBI Desktop中的bookmark（书签），开发人员可以捕获报表中一个页面的当前配置，包括过滤器的设置，Visual的状态等信息，此后，开发人员可以通过激活已保存的bookmark，使报表中的一个Page还原到创建该bookmark时的状态。 对于报表的受众来说，bookmark 阅读全文

摘要： SQL Server 审计系列： SQL Server 审计 第一篇：介绍（Audit） SQL Server 审计 第二篇： 创建审计 SQL Server 审计 第三篇：查看审计数据 审计（Audit）用于追踪和记录SQL Server实例，或者单个数据库中发生的事件（Event），审计运作的机 阅读全文

摘要： 计算机有多种节能（energy-saving）选择，而最著名的节省选择是休眠模式（Hibernate mode，也被称作为挂起硬盘模式）。在Hibernate模式下，在操作系统关闭之前，系统把当前用户的会话存储到硬盘上，以便计算机从休眠状态唤醒时，能够从上次中断的位置处继续工作。Micorsoft操 阅读全文

摘要： 本文分享在Azure Databricks中如何实现行转列和列转行，并介绍对查询的结果进行排序的各种方式。 一，行转列 在分组中，把每个分组中的某一列的数据连接在一起： collect_list：把一个分组中的列合成为数组，数据不去重，格式是['a','a','b'] collect_set：把一个 阅读全文

摘要： 大家知道，用户可以在Notebook UI中以交互方式运行Notebook中的SQL、Python等代码，交互方式便于数据的调查和分析。用户还可以通过Job来自动维护数据，Job是立即运行或按计划运行notebook（或JAR）的一种方法，通过Job可以定时执行数据的清理和整合，用户只需要设置好计划 阅读全文

摘要： Spark SQL 支持多种数据类型，并兼容Python、Scala等语言的数据类型。 一，标识符 标识符是一个字符串，用于标识一个数据库对象，比如table、view、schema、column。Spark SQL 有常规标识符和分割标识符（delimited identifiers），分割标识符 阅读全文

摘要： DBFS使用dbutils实现存储服务的装载（mount、挂载），用户可以把Azure Data Lake Storage Gen2和Azure Blob Storage 账户装载到DBFS中。Mount是Data Lake Storage Gen2的指针，因此数据不会同步到本地，但是用户可以访问远 阅读全文

摘要： Azure中的Secret是指密码、凭证和密钥等，举个例子，使用Azure Databricks Secret来存储凭证，并在notebook和job中引用它们，而不是直接在notebook中输入凭据。 Secret Scope是Secret的集合，每一个Secret是由name唯一确定的。每一个D 阅读全文