悦光阴

摘要： 在ElasticSearch中，使用JSON结构来存储数据，一个Key/Value对是JSON的一个字段，而Value可以是基础数据类型，也可以是数组，文档（也叫对象），或文档数组，因此，每个JSON文档都内在地具有层次结构。复合数据类型是指数组类型，对象类型和嵌套类型， 阅读全文

摘要： SSIS 设计系列： Package设计1：选择数据类型、暂存数据和并发 Package设计2：增量更新 Package 设计3：数据源的提取和使用暂存 在使用SSIS Package处理海量数据时，必须精心设计Package的各个Task组件，“锱铢必较”，以最快的速度和最小的资源消耗，完成既定的 阅读全文

摘要： 哈希函数是映射函数，它把输入的数据值经过一定的转换算法，映射成为新的数据值，哈希算法质量的好坏，是由产生的数据值的精确度决定的，理想的哈希函数有两个特性：对于同一个输入值，产生相同的哈希值；对于不同的输入值，产生不同的哈希值。对于不同的输入值，产生相同的哈希值，这就叫冲突，冲突越少，哈希算法的质量越 阅读全文

摘要： 在分析数据时，不可能总是对单个数据表进行分析，有时需要把多个数据表导入到PowerBI中，通过多个表中的数据及其关系来执行一些复杂的数据分析任务，因此，为准确计算分析的结果，需要在数据建模中，创建数据表之间的关系。在PowerBI中，关系（Relationship）是指数据表之间的基数（Cardin 阅读全文

摘要： 在商业智能解决方案中，SSIS工程有两种部署模式：工程部署（project deployment）和包部署（package deployment），默认是工程部署模式，在Package的管理上，工程部署模式是当前主流的部署模式，比包部署的更容易管理，也更容易对package进行调试和故障排除，而包部 阅读全文

摘要： 在SSIS中，Package是Task组件的有序组合，具有层次结构，Package处于层次结构的顶层（Root Level），对于父子包结构，父包（Parent Package）通过Execute Package Task组件调用其他Package，被调用的Package是子包，父包是子包的上层级别 阅读全文

摘要： PowerBI是微软新一代的交互式报表工具，把相关的静态数据转换为酷炫的可视化的，能够根据filter条件，对数据执行动态筛选，从不同的角度和粒度上分析数据。PowerBI主要由两部分组成：PowerBI Desktop和 PowerBI Service，前者供报表开发者使用，用于创建数据模型和报表 阅读全文

摘要： 在SQL Server中，凭证（Credential）用于把Windows用户的身份验证信息（在Windows环境下，是Windows 用户名和密码）存储在SQL Server实例中，并把该身份验证信息传递给Login和Proxy，使其有权限访问SQL Server实例之外的资源。在SQL Serv 阅读全文

摘要： 使用C#代码实现对ElastiSearch的编程查询，是十分方便的，通常情况下，开发者采用官方提供的NEST客户端程序，通过封装的方法向ElasticSearch引擎发送查询请求，搜索数据，最终获取返回的查询结果，实现预定的业务需求。在内部，NEST客户端通过格式化的数据结构，把C#代码转换成HTTP 请求（Request），减轻了用户直接编写Qeury DSL的麻烦。当然，用户也可以直接把Query DSL封装成HTTP请求，发送到ElasticSearch引擎；对开发者来说，不仅需要熟悉Query DSL的语法，而且需要手动编写代码，处理引擎返回的JSON结构化的数据集，采用这种方式的优点是不受限于NEST客户端程序，能够最大化使用ElasticSearch查询的各种参数，书写自由。 阅读全文

摘要： 布尔查询是最常用的组合查询，不仅将多个查询条件组合在一起，并且将查询的结果和结果的评分组合在一起。当查询条件是多个表达式的组合时，布尔查询非常有用，实际上，布尔查询把多个子查询组合（combine）成一个布尔表达式，所有子查询之间的逻辑关系是与（and）；只有当一个文档满足布尔查询中的所有子查询条件时，ElasticSearch引擎才认为该文档满足查询条件 阅读全文

摘要： 匹配（Match）查询属于全文（Fulltext）查询，不同于词条查询，ElasticSearch引擎在处理全文搜索时，首先分析（analyze）查询字符串，然后根据分词构建查询，最终返回查询结果。匹配查询共有三种类型，分别是布尔（boolean）、短语（phrase）和短语前缀（phrase_prefix），默认的匹配查询是布尔类型，这意味着，ElasticSearch引擎首先分析查询字符串，根据分析器对其进行分词 阅读全文

摘要： 对于大多数SQL Server编程开发者来说，当计算字符串的长度时，脑海中闪现的第一个函数是：Len(string)，这个“长度”，默认情况下，是指字符的数量，一个英语字符是一个长度，一个汉字是一个长度。大多数的字符串函数，例如charindex，substring，stuff等函数，其位置都是针对 阅读全文

摘要： 字符串的完全匹配是指字符的大小写，字符的数量和位置都是相同的，词条（term）查询使用字符的完全匹配方式进行文本搜索，词条查询不会分析（analyze）查询字符串，给定的字段必须完全匹配词条查询中指定的字符串。由于词条查询的字符串是未经分析（analyzed）的词条，因此，词条查询经常用于结构化的数据，例如，数值，日期等，当用于文本搜索时，最好在索引映射中设置字符串字段不被索引，也就是说，设置index属性为not_analyzed，否则，只能对该字段进行单词条搜索，也可以使用多字段(fields)属性，定义一个不被分析的字段，原始字段用于全文搜索，而多字段用于词条搜索 阅读全文

摘要： ElasticSearch是性能优化的分布式全文搜索引擎，存储数据的载体是文档（Document），它的优势在于搜索速度快和支持聚合操作，在更新文档时，基本上能够达到实时搜索。ElasticSearch引擎总是按照文档标识来更新数据，并发控制是通过顺序的版本ID（version）实现的，控制写-写、写-读冲突，实现数据弱一致性。 阅读全文

摘要： 在细节上，体现编程的修养。每一位大师，master，其基础必定夯实。废话不多说，直接上干货，Merge子句用于对两个数据表执行数据同步，On子句指定匹配(when matched)条件，When子句指定额外的过滤条件和数据更新逻辑。源表（Source Table）和靶表（Targe Table）的数 阅读全文

摘要： 不同于SQL语言，对ElasticSearch引擎发送的查询请求，有两种方式：第一种方式是使用RESTful 风格的API请求对数据进行搜索或更新，这意味着，必须使用搜索API向ElasticSearch引擎发起搜索请求；第二种方式是使用Qeury DSL，将查询语言封装成JSON结构，在JSON结构中，封装查询请求的参数，作为请求主体（Request Body），发送给ElasticSearch引擎处理。 阅读全文

摘要： 在ElasticSearch引擎中进行全文搜索是一件非常酷炫的事，而创建索引是最重要的事，必须要精心设计，建议使用head插件创建索引的映射（Mapping），而对索引文档数据的日常更新，可以使用C#客户端程序，按照计划自动进行数据的同步和更新。 阅读全文

摘要： ElasticSearch是文档型数据库，索引（Index）定义了文档的逻辑存储和字段类型，每个索引可以包含多个文档类型，文档类型是文档的集合，文档以索引定义的逻辑存储模型，比如，指定分片和副本的数量，配置刷新频率，分配分析器等，存储在索引中的海量文档分布式存储在ElasticSearch集群中。 ElasticSearch是基于Lucene框架的全文搜索引擎，将所有文档的信息写入到倒排索引（Inverted Index）的数据结构中，倒排索引建立的是索引中词和文档之间的映射关系，在倒排索引中，数据是面向词（Term）而不是面向文档的。 阅读全文

摘要： 在执行任何查询时，SQL Server都会把数据读取到内存，在使用完数据之后，数据不会被立即删除，而是缓存在内存Buffer中，当再次获取相同的数据时，如果所需数据全部缓存在内存中，那么SQL Server不会产生Disk IO操作（把数据从硬盘导入到内存），而是直接从内存中获取数据。由于查询内存中 阅读全文

摘要： 架构（Schema）是数据库对象（比如，Table，View，存储过程等）的容器，授予用户对Schema访问的权限，就是授予用户对Schema下所有object的访问权限。 一，架构（Schema）是数据库对象的容器 1，创建架构，指定数据库主体（database-level principal）为 阅读全文