悦光阴

摘要： 数据分析的工作，80%的时间耗费在处理数据上，而数据处理的主要过程可以分为：分离-操作-结合（Split-Apply-Combine），也就是说，首先，把数据根据特定的字段分组，每个分组都是独立的；然后，对每个分组按照业务需求执行转换；最后，把转换后的结果组合在一起。在数据处理中，经常需要循环访问数 阅读全文

摘要： 变量用于临时存储数据，而函数用于操作数据，实现代码的重复使用。在R中，函数只是另一种数据类型的变量，可以被分配，操作，甚至把函数作为参数传递给其他函数。分支控制和循环控制，和通用编程语言的风格很相似，但是，不要因为R具有这些元素，就把R作为通用编程语言来看待，R的最小变量是向量，是一种面向数组（Ar 阅读全文

摘要： 数据框（data.frame）是最常用的数据结构，用于存储二维表（即关系表）的数据，每一列存储的数据类型必须相同，不同数据列的数据类型可以相同，也可以不同，但是每列的行数（长度）必须相同。数据框的每列都有唯一的名字，在已创建的数据框上，用户可以添加计算列，这样，R引擎根据同一行的数据列，计算出表达式 阅读全文

摘要： 向量是一维的，只有行这一个维度，没有其他维度。R可以创建更高维度的数据对象，例如，矩阵、数据框、数组，索引高维度的对象时，需要使用元素的下标。这些对象的下标都使用中括号[]和索引，第一个维度是row，第二个维度是column，维度依次增加，索引的格式是：var[row,column,,,]。数组是二 阅读全文

摘要： R是向量化的语言，最突出的特点是对向量的运算不需要显式编写循环语句，它会自动地应用于向量的每一个元素。对象是R中存储数据的数据结构，存储在内存中，通过名称或符号访问。对象的名称由大小写字母、数字0-9、点号和下划线组成，名称是区分大小写的，并且不能以数字开头，特殊的对象名称可以通过界定符 `` 来转 阅读全文

摘要： PowerBI报表是基于数据分析的引擎，数据真正的来源（Data Source）是数据库，文件等数据存储媒介，PowerBI支持的数据源类型多种多样。PowerBI Service（云端）有时不直接访问Data Source，而是直接从PowerBI Service创建的数据集（Dataset）中获 阅读全文

摘要： 在PowerBI Desktop中，用户可以定义一个或多个查询参数（Query Parameter），参数的功能是为了实现PowerBI的参数化编程，使得Data Source的属性、替换值和过滤数据行可以参数化。注意：参数不管有多少个可能的值（Available Value），只能有一个当前值，所 阅读全文

摘要： Power BI的本地数据网管（On-Premises Data Gateway）是运行在组织内部的软件，用于管控外部用户访问内部(on-premises)数据的权限。PowerBI的网管像是一个尽职的门卫，监听来自外部网络（云端服务，Cloud Service）的连接请求，验证其身份信息。对于合法 阅读全文

摘要： 数据库运维人员，在维护数据库时，有时会遇到一些特殊的情况，例如，SQL Server实例无法访问，此时需要用到管理员在紧急情况下专用的连接；有时，在做一些系统级别的配置修改时，当前数据库不能被其他用户访问，必须把数据库切换到单用户模式。居安思危，在系统正常运行时，多做一些演练，避免在真正出现异常时， 阅读全文

摘要： PowerBI 使用 内存的列式数据库 VertiPaq，用于对已发布的数据集进行数据压缩和快速处理，能够使PowerBI报表执行脱机访问，面向列的处理，高度优化对1:N关系的处理性能。关系是数据分析的基础，正因为数据之间存在关系，分析数据才有了意义。PowerBI支持的关系（Reliationsh 阅读全文

摘要： DAX 表达式主要用于创建度量列（Measure），度量值是根据用户选择的Filter和公式，计算聚合值，DAX表达式基本上都是引用对应的函数，函数的执行有表级（Table-Level）上下文和行级（Row-Level）上下文之别；其交互行为都是通过表之间的关系实现的，用户选择的Filter，会通过 阅读全文

摘要： 最近做了几个PowerBI报表，对PowerBI的设计有了更深的理解，对数据的塑形（sharp data），不仅可以在Data Source中实现，例如在TSQL查询脚本中，而且可以在PowerBI中实现，例如，向数据模型中添加自定义字段，或者在报表数据显示时，根据数据表之间的关系做数据的统计。本文 阅读全文

摘要： 通常情况下，我们创建的表都是未分区的表，或者说，只有一个分区的表，数据只能存储在一个文件组（File Group）中，默认情况下，表数据存储在PRIMARY文件组。对表进行分区后，每一个分区都独立存储在文件组（File Group）中。把表分区，实际上是把逻辑上完整的表，按照特定的字段拆分成多个分区 阅读全文

摘要： 事务用于处理数据的一致性，事务的定义是，处于同一个事务中的操作是一个工作单元，要么全部执行成功，要么全部执行失败。把事务的概念应用到在实际的SSIS Package场景中，如何在Package中实现事务，事务的行为是什么样的，你真的了解吗？ SSIS默认支持Task组件级别的事务，在默认情况下，单个 阅读全文

摘要： 最近接手一个项目，程序的基本框架是：程序A导出数据，以.tsv格式存储，数据列之间以tab间隔；程序B吃文档，把数据导入到数据库中，并把处理过的文档备份/移动到指定的目录中。为了快速开发，程序B设计成SSIS的Package，本文主要分享Package的设计思路，组件用法和注意事项。在设计Packa 阅读全文

摘要： 在SSIS工程的开发过程中，OLEDB 数据源和目标组件是最常用的数据流组件。从功能上讲，OLEDB 数据源组件用于从OLEDB 提供者（Provider）中获取数据，传递给下游组件，OLEDB提供者是外部数据源，SQL Server是其中一种OLEDB提供者；OLEDB目标组件用于把数据流插入到关 阅读全文

摘要： SQL Server授予用户访问对象的权限，通常的模式是：Grants permissions on a securable to a principal(user or login)，也就是说，授予权限的命令分为三部分：Permission，Securable 和 Principal，用一句话来解 阅读全文

摘要： SQL Server数据库有完善的权限管理机制，对于存储过程，其权限分为查看定义，执行和修改，查看SP定义的权限是：VIEW DEFINITION ，执行存储过程的权限是：EXECUTE，修改SP的权限是：ALTER，但是该权限也能修改表结构，视图的定义等数据库对象。数据的读取权限是SELECT，这 阅读全文

摘要： 在数据库安全体系中，Login和User是两个最基本的安全主体（Principal），Login用于登陆到SQL Server实例，而User用于访问数据库。Login和User之间有一个映射关系，通过SID（安全标识，Security ID）连接到一起。在一个数据库中，如果一个User没有相应的L 阅读全文

摘要： 在数据库开发过程中，字符串和关系表的转化是一项基本技能。当字符串中存在分隔符时，有时将其转换成关系表数据，和其他数据表进行join查询，出现这种情况，是因为没有遵守关系数据库的设计范式，没有把字符串拆分成原子项存储，也有可能是数据传参数；有时会遇到相反的情况，需要将关系表的相关数据拼接成一个字符串显 阅读全文