上一页 1 ··· 11 12 13 14 15 16 17 18 19 ··· 26 下一页
摘要: 数据分析的工作,80%的时间耗费在处理数据上,而数据处理的主要过程可以分为:分离-操作-结合(Split-Apply-Combine),也就是说,首先,把数据根据特定的字段分组,每个分组都是独立的;然后,对每个分组按照业务需求执行转换;最后,把转换后的结果组合在一起。在数据处理中,经常需要循环访问数 阅读全文
posted @ 2017-11-04 11:42 悦光阴 阅读(12413) 评论(0) 推荐(3) 编辑
摘要: 变量用于临时存储数据,而函数用于操作数据,实现代码的重复使用。在R中,函数只是另一种数据类型的变量,可以被分配,操作,甚至把函数作为参数传递给其他函数。分支控制和循环控制,和通用编程语言的风格很相似,但是,不要因为R具有这些元素,就把R作为通用编程语言来看待,R的最小变量是向量,是一种面向数组(Ar 阅读全文
posted @ 2017-10-31 09:26 悦光阴 阅读(2486) 评论(0) 推荐(4) 编辑
摘要: 数据框(data.frame)是最常用的数据结构,用于存储二维表(即关系表)的数据,每一列存储的数据类型必须相同,不同数据列的数据类型可以相同,也可以不同,但是每列的行数(长度)必须相同。数据框的每列都有唯一的名字,在已创建的数据框上,用户可以添加计算列,这样,R引擎根据同一行的数据列,计算出表达式 阅读全文
posted @ 2017-10-30 11:45 悦光阴 阅读(13168) 评论(0) 推荐(5) 编辑
摘要: 向量是一维的,只有行这一个维度,没有其他维度。R可以创建更高维度的数据对象,例如,矩阵、数据框、数组,索引高维度的对象时,需要使用元素的下标。这些对象的下标都使用中括号[]和索引,第一个维度是row,第二个维度是column,维度依次增加,索引的格式是:var[row,column,,,]。数组是二 阅读全文
posted @ 2017-10-26 14:17 悦光阴 阅读(5054) 评论(0) 推荐(5) 编辑
摘要: R是向量化的语言,最突出的特点是对向量的运算不需要显式编写循环语句,它会自动地应用于向量的每一个元素。对象是R中存储数据的数据结构,存储在内存中,通过名称或符号访问。对象的名称由大小写字母、数字0-9、点号和下划线组成,名称是区分大小写的,并且不能以数字开头,特殊的对象名称可以通过界定符 `` 来转 阅读全文
posted @ 2017-10-25 13:05 悦光阴 阅读(10516) 评论(0) 推荐(6) 编辑
摘要: PowerBI报表是基于数据分析的引擎,数据真正的来源(Data Source)是数据库,文件等数据存储媒介,PowerBI支持的数据源类型多种多样。PowerBI Service(云端)有时不直接访问Data Source,而是直接从PowerBI Service创建的数据集(Dataset)中获 阅读全文
posted @ 2017-10-10 14:32 悦光阴 阅读(12395) 评论(0) 推荐(5) 编辑
摘要: 在PowerBI Desktop中,用户可以定义一个或多个查询参数(Query Parameter),参数的功能是为了实现PowerBI的参数化编程,使得Data Source的属性、替换值和过滤数据行可以参数化。注意:参数不管有多少个可能的值(Available Value),只能有一个当前值,所 阅读全文
posted @ 2017-09-29 08:17 悦光阴 阅读(9949) 评论(4) 推荐(5) 编辑
摘要: Power BI的本地数据网管(On-Premises Data Gateway)是运行在组织内部的软件,用于管控外部用户访问内部(on-premises)数据的权限。PowerBI的网管像是一个尽职的门卫,监听来自外部网络(云端服务,Cloud Service)的连接请求,验证其身份信息。对于合法 阅读全文
posted @ 2017-09-26 10:23 悦光阴 阅读(3814) 评论(2) 推荐(4) 编辑
摘要: 数据库运维人员,在维护数据库时,有时会遇到一些特殊的情况,例如,SQL Server实例无法访问,此时需要用到管理员在紧急情况下专用的连接;有时,在做一些系统级别的配置修改时,当前数据库不能被其他用户访问,必须把数据库切换到单用户模式。居安思危,在系统正常运行时,多做一些演练,避免在真正出现异常时, 阅读全文
posted @ 2017-09-22 21:30 悦光阴 阅读(1854) 评论(0) 推荐(4) 编辑
摘要: PowerBI 使用 内存的列式数据库 VertiPaq,用于对已发布的数据集进行数据压缩和快速处理,能够使PowerBI报表执行脱机访问,面向列的处理,高度优化对1:N关系的处理性能。关系是数据分析的基础,正因为数据之间存在关系,分析数据才有了意义。PowerBI支持的关系(Reliationsh 阅读全文
posted @ 2017-09-19 10:37 悦光阴 阅读(11547) 评论(0) 推荐(4) 编辑
摘要: DAX 表达式主要用于创建度量列(Measure),度量值是根据用户选择的Filter和公式,计算聚合值,DAX表达式基本上都是引用对应的函数,函数的执行有表级(Table-Level)上下文和行级(Row-Level)上下文之别;其交互行为都是通过表之间的关系实现的,用户选择的Filter,会通过 阅读全文
posted @ 2017-09-18 10:01 悦光阴 阅读(47785) 评论(0) 推荐(8) 编辑
摘要: 最近做了几个PowerBI报表,对PowerBI的设计有了更深的理解,对数据的塑形(sharp data),不仅可以在Data Source中实现,例如在TSQL查询脚本中,而且可以在PowerBI中实现,例如,向数据模型中添加自定义字段,或者在报表数据显示时,根据数据表之间的关系做数据的统计。本文 阅读全文
posted @ 2017-09-15 11:34 悦光阴 阅读(17390) 评论(0) 推荐(5) 编辑
摘要: 通常情况下,我们创建的表都是未分区的表,或者说,只有一个分区的表,数据只能存储在一个文件组(File Group)中,默认情况下,表数据存储在PRIMARY文件组。对表进行分区后,每一个分区都独立存储在文件组(File Group)中。把表分区,实际上是把逻辑上完整的表,按照特定的字段拆分成多个分区 阅读全文
posted @ 2017-09-08 15:03 悦光阴 阅读(2115) 评论(0) 推荐(0) 编辑
摘要: 事务用于处理数据的一致性,事务的定义是,处于同一个事务中的操作是一个工作单元,要么全部执行成功,要么全部执行失败。把事务的概念应用到在实际的SSIS Package场景中,如何在Package中实现事务,事务的行为是什么样的,你真的了解吗? SSIS默认支持Task组件级别的事务,在默认情况下,单个 阅读全文
posted @ 2017-08-16 10:00 悦光阴 阅读(2535) 评论(8) 推荐(6) 编辑
摘要: 最近接手一个项目,程序的基本框架是:程序A导出数据,以.tsv格式存储,数据列之间以tab间隔;程序B吃文档,把数据导入到数据库中,并把处理过的文档备份/移动到指定的目录中。为了快速开发,程序B设计成SSIS的Package,本文主要分享Package的设计思路,组件用法和注意事项。在设计Packa 阅读全文
posted @ 2017-08-15 09:39 悦光阴 阅读(4566) 评论(2) 推荐(3) 编辑
摘要: 在SSIS工程的开发过程中,OLEDB 数据源和目标组件是最常用的数据流组件。从功能上讲,OLEDB 数据源组件用于从OLEDB 提供者(Provider)中获取数据,传递给下游组件,OLEDB提供者是外部数据源,SQL Server是其中一种OLEDB提供者;OLEDB目标组件用于把数据流插入到关 阅读全文
posted @ 2017-08-14 09:29 悦光阴 阅读(2178) 评论(0) 推荐(3) 编辑
摘要: SQL Server授予用户访问对象的权限,通常的模式是:Grants permissions on a securable to a principal(user or login),也就是说,授予权限的命令分为三部分:Permission,Securable 和 Principal,用一句话来解 阅读全文
posted @ 2017-08-07 09:54 悦光阴 阅读(1604) 评论(0) 推荐(3) 编辑
摘要: SQL Server数据库有完善的权限管理机制,对于存储过程,其权限分为查看定义,执行和修改,查看SP定义的权限是:VIEW DEFINITION ,执行存储过程的权限是:EXECUTE,修改SP的权限是:ALTER,但是该权限也能修改表结构,视图的定义等数据库对象。数据的读取权限是SELECT,这 阅读全文
posted @ 2017-08-02 09:47 悦光阴 阅读(1724) 评论(2) 推荐(4) 编辑
摘要: 在数据库安全体系中,Login和User是两个最基本的安全主体(Principal),Login用于登陆到SQL Server实例,而User用于访问数据库。Login和User之间有一个映射关系,通过SID(安全标识,Security ID)连接到一起。在一个数据库中,如果一个User没有相应的L 阅读全文
posted @ 2017-07-26 13:00 悦光阴 阅读(1199) 评论(2) 推荐(3) 编辑
摘要: 在数据库开发过程中,字符串和关系表的转化是一项基本技能。当字符串中存在分隔符时,有时将其转换成关系表数据,和其他数据表进行join查询,出现这种情况,是因为没有遵守关系数据库的设计范式,没有把字符串拆分成原子项存储,也有可能是数据传参数;有时会遇到相反的情况,需要将关系表的相关数据拼接成一个字符串显 阅读全文
posted @ 2017-07-18 10:07 悦光阴 阅读(1162) 评论(2) 推荐(3) 编辑
上一页 1 ··· 11 12 13 14 15 16 17 18 19 ··· 26 下一页