上一页 1 ··· 13 14 15 16 17 18 19 20 21 ··· 27 下一页
摘要: SSISDB 系列随笔汇总: SSISDB1:使用SSISDB管理Package SSISDB2:SSIS工程的操作实例 SSISDB3:Package的执行实例 SSISDB4:当前正在运行的Package及其Executable SSISDB5:使用TSQL脚本执行Package SSISDB6 阅读全文
posted @ 2017-06-09 15:48 悦光阴 阅读(1508) 评论(0) 推荐(5) 编辑
摘要: 相比图形数据的查询,Neo4j更新图形数据的速度较慢,通常情况下,Neo4j更新数据的工作流程是:每次数据更新都会执行一次数据库连接,打开一个事务,在事务中更新数据。当数据量非常大时,这种做法非常耗时,大多数时间耗费在连接数据库和打开事务上,高效的做法是利用Neo4j提供的参数(Parameter) 阅读全文
posted @ 2017-06-01 10:46 悦光阴 阅读(18796) 评论(1) 推荐(6) 编辑
摘要: 本文使用的IDE是Visual Studio 2015 ,驱动程序是Neo4j官方的最新版本:Neo4j.Driver ,创建的类库工程(Project)要求安装 .NET Framework 4.5.2及以上版本,Neo4j官方提供的驱动程序使用起来非常简单,非常依赖于Cypher语言,这使得该驱 阅读全文
posted @ 2017-05-26 10:02 悦光阴 阅读(8500) 评论(2) 推荐(6) 编辑
摘要: Neo4j使用Cypher查询图形数据,Cypher是描述性的图形查询语言,语法简单,功能强大,由于Neo4j在图形数据库家族中处于绝对领先的地位,拥有众多的用户基数,使得Cypher成为图形查询语言的事实上的标准。本文作为入门级的教程,我不会试图分析Cypher语言的全部内容,本文的目标是循序渐进 阅读全文
posted @ 2017-05-24 09:37 悦光阴 阅读(98758) 评论(7) 推荐(28) 编辑
摘要: 在深入学习图形数据库之前,首先理解属性图的基本概念。一个属性图是有向图,由顶点(Vertex),边(Edge),标签(Lable),关系类型(Relationship Type)和属性(Property)组成。 在属性图形中,节点和关系是最重要的实体,顶点也称作节点(Node),边也称作关系(Rel 阅读全文
posted @ 2017-05-22 10:07 悦光阴 阅读(13364) 评论(9) 推荐(13) 编辑
摘要: 图形数据库(Graph Database)是NoSQL数据库家族中特殊的存在,用于存储丰富的关系数据,Neo4j 是目前最流行的图形数据库,支持完整的事务,在属性图中,图是由顶点(Vertex),边(Edge)和属性(Property)组成的,顶点和边都可以设置属性,顶点也称作节点,边也称作关系,每 阅读全文
posted @ 2017-05-19 11:16 悦光阴 阅读(86424) 评论(6) 推荐(25) 编辑
摘要: ElasticSearch 2.4版本支持Java正则表达式查询,但是,在对大段的文本(Text Block)进行挖掘之前,必须了解正则表达式查询的特殊之处。由于分析器会对文本字段进行分词,移除停用词,小写转换等操作,最终存储在倒转索引中的是小写的标记流(Token Stream),默认情况下,每一个标记是一个分词(Term),这无法满足正则表达式查询的一般要求,这就是说,正则表达式查询的是原始文本,需要注意的是,ElasticSearch引擎都是从原始文本的第一个字符开始执行正则表达式匹配。 在ElasticSearch 2.4版本中启用正则表达式之前,需要考虑两个问题:分词吗?大小写敏感吗? 阅读全文
posted @ 2017-05-10 09:26 悦光阴 阅读(12609) 评论(3) 推荐(7) 编辑
摘要: 在ElasticSearch 2.4版本中,文档存储的介质分为内存和硬盘:内存速度快,但是容量有限;硬盘速度较慢,但是容量很大。同时,ElasticSearch进程自身的运行也需要内存空间,必须保证ElasticSearch进程有充足的运行时内存。为了使ElasticSearch引擎达到最佳性能,必须合理分配有限的内存和硬盘资源。 阅读全文
posted @ 2017-05-09 09:58 悦光阴 阅读(39185) 评论(3) 推荐(7) 编辑
摘要: 在全文搜索(Fulltext Search)中,词(Term)是一个搜索单元,表示文本中的一个词,标记(Token)表示在文本字段中出现的词,由词的文本、在原始文本中的开始和结束偏移量、以及数据类型等组成。ElasticSearch 把文档数据写到倒排索引(Inverted Index)的结构中,倒排索引建立词(Term)和文档之间的映射,索引中的数据是面向词,而不是面向文档的。分析器(Analyzer)的作用就是分析(Analyse),用于把传入Lucene的文档数据转化为倒排索引,把文本处理成可被搜索的词。分析器由一个分词器(Tokenizer)和零个或多个标记过滤器(TokenFilter)组成,也可以包含零个或多个字符过滤器(Character Filter)。 阅读全文
posted @ 2017-05-08 09:14 悦光阴 阅读(15027) 评论(4) 推荐(5) 编辑
摘要: 在ElasticSearch中,使用JSON结构来存储数据,一个Key/Value对是JSON的一个字段,而Value可以是基础数据类型,也可以是数组,文档(也叫对象),或文档数组,因此,每个JSON文档都内在地具有层次结构。复合数据类型是指数组类型,对象类型和嵌套类型, 阅读全文
posted @ 2017-05-05 09:37 悦光阴 阅读(69347) 评论(4) 推荐(11) 编辑
摘要: SSIS 设计系列: Package设计1:选择数据类型、暂存数据和并发 Package设计2:增量更新 Package 设计3:数据源的提取和使用暂存 在使用SSIS Package处理海量数据时,必须精心设计Package的各个Task组件,“锱铢必较”,以最快的速度和最小的资源消耗,完成既定的 阅读全文
posted @ 2017-05-03 10:33 悦光阴 阅读(992) 评论(0) 推荐(6) 编辑
摘要: 哈希函数是映射函数,它把输入的数据值经过一定的转换算法,映射成为新的数据值,哈希算法质量的好坏,是由产生的数据值的精确度决定的,理想的哈希函数有两个特性:对于同一个输入值,产生相同的哈希值;对于不同的输入值,产生不同的哈希值。对于不同的输入值,产生相同的哈希值,这就叫冲突,冲突越少,哈希算法的质量越 阅读全文
posted @ 2017-05-03 10:13 悦光阴 阅读(4180) 评论(4) 推荐(3) 编辑
摘要: 在分析数据时,不可能总是对单个数据表进行分析,有时需要把多个数据表导入到PowerBI中,通过多个表中的数据及其关系来执行一些复杂的数据分析任务,因此,为准确计算分析的结果,需要在数据建模中,创建数据表之间的关系。在PowerBI中,关系(Relationship)是指数据表之间的基数(Cardin 阅读全文
posted @ 2017-04-27 10:11 悦光阴 阅读(16668) 评论(0) 推荐(7) 编辑
摘要: 在商业智能解决方案中,SSIS工程有两种部署模式:工程部署(project deployment)和包部署(package deployment),默认是工程部署模式,在Package的管理上,工程部署模式是当前主流的部署模式,比包部署的更容易管理,也更容易对package进行调试和故障排除,而包部 阅读全文
posted @ 2017-04-26 08:19 悦光阴 阅读(2379) 评论(2) 推荐(4) 编辑
摘要: 在SSIS中,Package是Task组件的有序组合,具有层次结构,Package处于层次结构的顶层(Root Level),对于父子包结构,父包(Parent Package)通过Execute Package Task组件调用其他Package,被调用的Package是子包,父包是子包的上层级别 阅读全文
posted @ 2017-04-25 09:21 悦光阴 阅读(1158) 评论(0) 推荐(6) 编辑
摘要: PowerBI是微软新一代的交互式报表工具,把相关的静态数据转换为酷炫的可视化的,能够根据filter条件,对数据执行动态筛选,从不同的角度和粒度上分析数据。PowerBI主要由两部分组成:PowerBI Desktop和 PowerBI Service,前者供报表开发者使用,用于创建数据模型和报表 阅读全文
posted @ 2017-04-24 08:19 悦光阴 阅读(21669) 评论(3) 推荐(17) 编辑
摘要: 在SQL Server中,凭证(Credential)用于把Windows用户的身份验证信息(在Windows环境下,是Windows 用户名和密码)存储在SQL Server实例中,并把该身份验证信息传递给Login和Proxy,使其有权限访问SQL Server实例之外的资源。在SQL Serv 阅读全文
posted @ 2017-04-20 10:21 悦光阴 阅读(1281) 评论(0) 推荐(4) 编辑
摘要: 使用C#代码实现对ElastiSearch的编程查询,是十分方便的,通常情况下,开发者采用官方提供的NEST客户端程序,通过封装的方法向ElasticSearch引擎发送查询请求,搜索数据,最终获取返回的查询结果,实现预定的业务需求。在内部,NEST客户端通过格式化的数据结构,把C#代码转换成HTTP 请求(Request),减轻了用户直接编写Qeury DSL的麻烦。当然,用户也可以直接把Query DSL封装成HTTP请求,发送到ElasticSearch引擎;对开发者来说,不仅需要熟悉Query DSL的语法,而且需要手动编写代码,处理引擎返回的JSON结构化的数据集,采用这种方式的优点是不受限于NEST客户端程序,能够最大化使用ElasticSearch查询的各种参数,书写自由。 阅读全文
posted @ 2017-04-07 08:42 悦光阴 阅读(14713) 评论(5) 推荐(16) 编辑
摘要: 布尔查询是最常用的组合查询,不仅将多个查询条件组合在一起,并且将查询的结果和结果的评分组合在一起。当查询条件是多个表达式的组合时,布尔查询非常有用,实际上,布尔查询把多个子查询组合(combine)成一个布尔表达式,所有子查询之间的逻辑关系是与(and);只有当一个文档满足布尔查询中的所有子查询条件时,ElasticSearch引擎才认为该文档满足查询条件 阅读全文
posted @ 2017-04-06 01:02 悦光阴 阅读(27510) 评论(3) 推荐(18) 编辑
摘要: 匹配(Match)查询属于全文(Fulltext)查询,不同于词条查询,ElasticSearch引擎在处理全文搜索时,首先分析(analyze)查询字符串,然后根据分词构建查询,最终返回查询结果。匹配查询共有三种类型,分别是布尔(boolean)、短语(phrase)和短语前缀(phrase_prefix),默认的匹配查询是布尔类型,这意味着,ElasticSearch引擎首先分析查询字符串,根据分析器对其进行分词 阅读全文
posted @ 2017-04-05 08:23 悦光阴 阅读(62342) 评论(0) 推荐(14) 编辑
上一页 1 ··· 13 14 15 16 17 18 19 20 21 ··· 27 下一页